八王之乱高潮时，祖逖率领亲党数百家从河北向江淮地区逃难。途中，祖逖把所乘的车马让给同行的老弱病残，自己徒步前进，把药物、衣粮都拿出来和大家分享。百姓们见祖逖有权略重义气，公推祖逖为“行主”。所谓“行主”，本质上是北方流民领袖。天下大乱，人口流动频繁，人数众多，形成多股流民潮。流民在迁徙过程中，有各种问题，很容易组织起来。流民组织有领袖，有武装，迁徙到某地定居后常常建造堡垒自守，平时耕种周围土地，有事就收缩回堡垒。这些流民堡垒少的能拉起几百人的武装，多的能拼凑数千军队，遍布江淮地区。各个政权分别委以流民领袖县令、太守乃至刺史职务，笼络流民武装，不至于与己为敌。八王之乱时，多支北方流民武装南下，在江淮地区建立了许多流民武装堡垒，称为坞堡，流民领袖被称为坞主。其中大的武装则南下占领城池，比如祖逖这支武装就进驻泗口，此外还有苏峻、郗鉴等武装入驻徐州、扬州等地。司马睿就任命祖逖为徐州刺史，以为笼络之策。

祖逖进一步带着队伍南下丹徒的京口（今江苏镇江）。在这里，祖逖招揽勇士为宾客义徒，待之如子弟。当时扬州突然大旱，出现饥荒，南下流民多为盗窃，攻剽富室。颇有侠气的祖逖睁只眼闭只眼，不闻不问，遇到有流民为官府捕获，祖逖也千方百计解救。因此，祖逖在南下流民中的威望越来越高。

祖逖因为朝廷倾覆，常怀振复之志。北方流民背井离乡、流离失所，也有强烈驱逐胡族恢复故土的要求。整个东晋时期，南方都存在强烈的北伐复国的呼声。祖逖虽然不断向南走，但沿途散播调转枪头打回北方区的言论，号召南方各派力量团结起来北伐。在江南稍微站稳脚跟后，祖逖就上奏司马睿，鼓吹北伐：“晋室之乱，并非朝廷无道百姓怨叛造成的，而是由于籓王争权，自相诛杀，导致戎狄乘隙毒流中原。如今，百姓遭受残酷杀戮，人人有奋击反抗之志。大王诚能发威命将，如果让祖逖我统兵北伐，则郡国豪杰必争相来投，沈弱之士欣然拥护，不久国耻可雪。”分析祖逖的这个奏折，他对西晋王朝覆灭很不甘心，认为是少数民族武装趁朝廷内乱侥幸取胜的，现在有民心可用，只要南方同仇敌忾，定能光复故土。

司马睿、王导等人肯定清楚南方的北伐呼声。他们并不热衷北伐，因为对于南渡的司马睿政权来说首要的是在南方扎下根去，巩固统治。和江州、荆州军方争夺地盘、争取江东世族的支持、调节南下世族的内部矛盾，样样事情都比北伐重要得多。再说，北伐夺回北方故土，对司马睿等人的坏处很明显。首先，司马睿的名望很低，万一哪个重臣大将北伐成功了，名声大涨功高震主，对司马睿有什么好处呢？其次，司马睿是皇室疏宗，万一北伐找到几位皇室血统更近更高的宗室，司马睿往哪里放啊？所以，司马睿、王导力主集中军力、物力、财力去扩充领土、稳定南方，不愿意分兵北伐。但是北伐的理由很充分，具有不容辩驳的道德力量，司马睿和王导又不便反对。他们能做的只能是口头赞赏，暗地里布置种种障碍，盼望着北伐不要成功。

对待北伐“政治第一位”的指导思想和“阳奉阴违”的做法，司马睿和王导首创，被之后的东晋历代朝廷所继承。

接到祖逖自请北伐的奏折后，司马睿任命祖逖为奋威将军、豫州刺史。豫州（今河南地区）大部分在石勒手里呢，司马睿给祖逖的职位是虚的，需要祖逖自己去夺回。那么司马睿给祖逖多少北伐军需呢？一千人份的军饷，三千匹布，没有一兵一将，没有一副铠甲一把刀。王导向祖逖解释说，我们现在很困难，你就勉为其难，自行招募军队北伐吧。

317年，祖逖率领百余家跟随自己的北方流民渡江北上，勇敢地开始了悲壮的北伐。渡到长江中流，祖逖敲击着船桨立誓：“祖逖不能清中原而复济者，有如大江！”他辞色壮烈，大有壮士一去兮不复返的慷慨悲凉，旁人闻之慨叹不已。“中流击楫”典故在此，如今已成了雄心壮志实践理想抱负的代名词。渡过长江后，祖逖在江阴停留了一会，冶铸兵器，并招募北伐的志愿军。他得到了流民的支持，组织起2000余人的粗糙军队，继续前进。

永嘉南渡后的豫州实际掌握在各支流民武装手中。西晋政府之前笼络坞主张平为豫州刺史、樊雅为谯郡太守，他们是两支最强大的流民武装，此外还有董瞻、于武、谢浮等十几支队伍，各有数百到几千人马，各自为政。祖逖来到后，采取拉拢一派打击一派的方法，大力削弱流民武装。他先引诱谢浮进攻张平，杀掉了张平。樊雅大惊，在一个夜里突袭祖逖，攻破了北伐军的营垒。樊雅拔戟大呼，亲自冲向祖逖的营帐。北伐军大乱，祖逖在危急时刻体现出了枭雄本色，命左右列阵防守，从容指挥部下反击，击破了樊雅。樊雅失败后，联合张平余众继续与祖逖作战；祖逖则联合自封陈留太守的坞主陈川与之对抗。陈川派遣部将李头率兵增援祖逖。双方联军攻克谯城。战斗中李头勇敢向前、战功赫赫，战后祖逖得到了樊雅的坐骑骏马，李头很想要却不敢说，祖逖知他的意思后主动送上门去。李头感念祖逖的恩遇，叹息道：“若得此人为主，吾死无恨。”陈川知道后，大怒，这不是吃里扒外嘛！他竟然因此杀死了李头，李头的部下400人逃奔祖逖。陈川更生气了，与祖逖决裂，派兵劫掠豫州诸郡，抢劫人口车马。祖逖指挥军队制止陈川部队的抢劫活动，陆续剿灭抢劫的兵丁，将赃物尽量物归原主，严明纪律，不让北伐官兵留有私产。

陈川自忖战胜不了祖逖，向石勒投降。祖逖闻讯，率众讨伐陈川，石勒派石虎领兵5万救陈川。祖逖北伐正式进入与外族作战的阶段。这是永嘉南渡以来，晋朝军队第一次与外族军队正面作战。祖逖兵少，追求巧胜，屡次埋伏石虎，取得小胜。双方相守四旬，北伐军的粮草接济不上——他们离江南基地越来越远，军需运输困难，而司马睿政权本身就没给予多少军需支援。祖逖知道石虎的军需也很困难（后赵政权的经济基础不行），就看敌我双方谁先支持不住了。他想出一条计策来，用布囊盛土做出米袋的模样，派千余人佯装运粮，途中令几个人装出疲惫的样子掉队在路旁休息。后赵军队看到后，上前进攻，那几个人赶紧放下米袋逃跑。偏偏这几个人运的米袋装的是真米，石虎检查截获的米袋，误以为北方军粮草充足，顿时对战斗前景失去了信心。石勒得知前线缺粮，派将军刘夜堂赶了上千头驴运粮支援石虎。祖逖在汴水伏击刘夜堂，俘获后赵军粮。石虎更是丧失了坚持的胆气，主动撤军了。北伐军推进到雍丘（今河南杞县）。

此后，祖逖和石勒在雍丘僵持了起来。祖逖多次主动进攻，让后赵的屯戍防不胜防。北伐军侦察兵常常俘虏后赵领土内的濮阳人，祖逖款待后遣归故里。这些人回去后感念祖逖的恩德，陆续率乡里投奔北伐军。陆陆续续北方有五百家投奔祖逖。石勒曾经抽调精骑万人进攻祖逖，希望有所斩获，结果反被祖逖所败，此后陷入被动防守态势，再无主动进攻。

北伐形势一片大好，归附者甚多。当日黄河南北赵固、上官巳、李矩、郭默等流民武装相互攻击，祖逖遣使为他们和解，晓以民族大义和切身祸福。这些流民武装都接受祖逖的指挥。黄河北岸有许多堡垒的坞主不得不送儿子在后赵政权中当人质，不能旗帜鲜明地投靠祖逖。祖逖也悉听尊便，默许他们的“两属”状态，有时还派遣小股部队佯攻这些堡垒，让后赵知道他们没有投靠北伐军。坞主们对祖逖的细心考虑感恩戴德，更加倾心北伐军，后赵政权有什么计划和阴谋事先都偷偷报告祖逖。北伐军的优势更加明显了。

由于祖逖指挥得当，手腕灵活高超，“黄河以南尽为晋土”。

二

北伐的胜利让东晋复国大业，现出了一丝曙光。祖逖收复了河南，现在的山西北部和河北北部一带也还在晋朝残余势力手中。在领土格局上，晋朝力量对河北的石勒政权和关中的刘曜政权形成了夹击的态势。

先前，坚守河北北部的是西晋任命的幽州刺史王浚。王浚利令智昏，自以为掌握幽州天高皇帝远，自不量力，妄想割据，最后被石勒吞灭，遗臭万年。坚守山西北部的就是当年和祖逖一起闻鸡起舞的刘琨，时任并州刺史。刘琨的并州刺史是刘渊在并州建国、司马腾带领山西军民东出“乞活”，并州十室九空的情况下上任的。他在黄河边上组织了几百士卒，边打边走穿越匈奴的领土才赶到晋阳（今山西太原）上任的。刘琨有爱国之心，在晋阳惨淡经营，与刘聪、石勒两派不断拉锯作战。晋愍帝摇授刘琨为司空，都督并、冀、幽三州诸军事，把北方的乱局托付给了他。遗憾的是，刘琨志大才疏，富贵惯了，生性豪奢，又误信谗言，始终不能团结并州军民组建强有力的军队，最终还是被石勒赶出了并州。段氏鲜卑倾向晋朝，刘琨向北投靠了鲜卑，并和段匹磾歃血为盟，结为兄弟，发表檄文号召各族拥戴晋朝。317年，刘琨派妻侄温峤到建康报告北方情形，并劝司马睿即位做皇帝。临别，刘琨对温峤说：“晋祚虽衰，天命未改，我当立功河朔，使卿延誉江南。”温峤后来果然在江南举足轻重、盛誉一时。刘琨听到老友祖逖北伐成就斐然，高兴地致信祖逖：“我夜间都枕着兵器睡觉等天亮，一心期待消灭敌人，如今你跑到我前面去了。”他时刻准备杀敌，天不佑他，第二年被背信弃义的段匹磾杀害，时年48岁。他的死意味着晋朝势力在华北地区全军覆没。