祖家为北地大族，世代都有两千石的高官。祖逖少年时生性豁荡，不拘小节，轻财重义，慷慨有志节，常周济贫困，深受乡党宗族敬重。他成年后发奋读书，博览书籍，涉猎古今，时人都称其有赞世之才。^[2] 

太康十年（289年），侨居阳平郡的祖逖被郡府举为孝廉，又被司隶举为秀才，但都没有应命。后来，祖逖与刘琨一同出任司州主簿。两人的关系十分融洽，常纵论世事，有时夜深还不能入睡，拥被起坐，相互勉励道：“如果天下大乱，豪杰并起，你我二人应在中原干出一番事业！”^[3] 

元康元年（291年），八王之乱爆发。祖逖得到诸王的重视，先后效力于齐王司马冏、长沙王司马乂、豫章王司马炽，历任大司马府掾属、骠骑将军府祭酒、主簿、太子中舍人、豫章王府从事中郎。^[4] 

永兴元年（304年），东海王司马越拥晋惠帝讨伐成都王司马颖。祖逖也随军出征，不料在荡阴战败，逃回洛阳。惠帝被挟持到长安后，范阳王司马虓、高密王司马略、平昌公司马模竞相征召祖逖，但他都不肯应命。后来，司马越任命祖逖为典兵参军、济阴太守。但祖逖适遇母丧，遂守孝不出。^[5] 

永嘉五年（311年），洛阳陷落，祖逖率亲族乡党数百家南下，避乱于淮泗。他躬自步行，把车马让给老弱病人，又把粮食、衣物和药品分给别人。逃亡途中多遇盗贼险阻，祖逖应付自如，被同行诸人推为“行主”。到达泗口（今江苏徐州）后，祖逖被琅琊王司马睿任命为徐州刺史，不久又被征为军谘祭酒，率部屯驻京口（今江苏镇江）。^[6] 

建兴元年（313年），晋愍帝即位，以司马睿为侍中、左丞相、大都督陕东诸军事，命其率兵赴洛阳勤王。^[7]  当时，司马睿正开拓江南，根本无意北伐。祖逖进言道：“晋室之乱，并不是皇帝无道，百姓造反，而是藩王争权，自相残杀，给了夷狄可乘之机。如今北地百姓备受蹂躏，都有奋起反击之志。大王如能命将出师，让祖逖等人为统领，江北豪杰必定会望风响应，沦亡人士也会欢欣鼓舞。如此，也许可以申雪国耻。”司马睿虽不愿北伐，却也不便公开反对，于是任命祖逖为奋威将军、豫州刺史，但却只拨予千人粮饷、三千匹布帛，让他自募战士，自造兵器。^[8] 

司马睿的消极态度，并未动摇祖逖的北伐决心。祖逖率领跟随自己南下的宗族部曲百余家，毅然从京口渡江北上，并在大江之中，用力拍击船楫，立誓要扫清中原。他在渡江后，暂驻淮阴，起炉冶铁，铸造兵器，又招募到士兵二千多人。^[9] 

当时兖豫一带有豪强张平、樊雅，占据谯城，聚坞自保，有兵数千人，只是在名义上臣服于司马睿，接受其授予的官职。张平部下还有董瞻、于武、谢浮等十多支小部队，各有数百人。^[10]  建武元年（317年），祖逖进驻芦洲（今安徽亳县），派参军殷乂去联络张樊二人。但殷乂却轻蔑张平，认为他不能保住头颅。张平怒杀殷乂，并拥兵固守，与北伐军对抗。^[11]  祖逖攻城不下，遂使用离间计，引诱张平部将谢浮。谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，但因军中乏食，处境艰难。^[12] 

张平死后，樊雅仍占据谯城。樊雅率众夜袭，直逼祖逖大营，军中大乱。祖逖沉着指挥，督护董昭英勇杀敌，终于击退樊雅。祖逖又率部追讨，却遭到张平余部的迎击，便向蓬坞堡主陈川、南中郎将王含求援。陈川、王含分别派部将李头、桓宣率军助战。^[13]  祖逖让桓宣去劝降樊雅，桓宣单马入谯城，对樊雅道：“祖逖正准备荡平刘聪、石勒，需要仰仗你作为后援。先前是殷乂轻薄无礼，并非祖逖本意。如果现在和解，既可建立忠勋，又能保全富贵。但若还要固执，朝廷派出猛将，凭你手下乌合之众，依据一座危城，北边又有强贼窥伺，万无一全。”樊雅遂出城归降。^[14] 

祖逖攻占谯城后，终于在豫州站住脚跟，打通了北伐的通道。桓宣则率部返回。不久，石虎围困谯城，王含又遣桓宣来救。石虎闻听桓宣前来，撤军而退。桓宣于是留在谯城，协助祖逖征讨不肯归附的坞堡武装。^[15]  太兴元年（318年），司马睿在建康称帝，建立东晋，是为晋元帝。

李头在征讨樊雅时，力战有功，颇得祖逖礼遇，常叹道：“我若能得祖逖为主，虽死无恨。”陈川闻知大怒，遂杀死李头，李头的亲信冯宠便率所部四百多人投奔祖逖。陈川更加恼怒，派部将魏硕劫掠豫州诸郡，结果被祖逖派兵击溃。陈川非常恐惧，便率部归附后赵石勒。^[16] 

太兴二年（319年），祖逖进攻蓬关（在今河南开封），讨伐陈川。石虎则率军五万大军救援陈川，在浚仪与祖逖交战。祖逖大败，退屯梁国，不久又退至淮南。石虎洗劫豫州，带着陈川回师襄国，并留部将桃豹戍守蓬陂坞。^[17] 

太兴三年（320年），祖逖派韩潜镇守蓬陂坞东台，桃豹退据西台。两军对峙四十余日后，祖逖设计令赵军以为晋军兵粮充足，挫其士气。他又在汴水设伏，尽夺石勒运给桃豹的军粮，逼得桃豹退守东燕城。祖逖命韩潜进占封丘，压逼桃豹，自己则进屯雍丘（今河南杞县）。^[19] 

击退桃豹后，祖逖又多次出兵邀截赵军，使石勒在河南的力量迅速萎缩。河南境内有赵固、上官巳、李矩、郭默等割据集团，各据一方，经常兵戎相见。祖逖遣使调和，示以祸福，晓以大义，使赵固等人都服从自己的统一指挥，成功收复黄河以南中原地区的大部分土地。当时黄河沿岸还有一些坞堡主，迫于后赵兵势，不得不臣服于石勒，送子弟到襄国为质。祖逖理解他们的处境，有时还会派出小股部队，伪装抄略这些坞堡，以表明他们并未归附晋朝，消解石勒的疑心。诸坞感恩戴德，经常帮助北伐军刺探情报。祖逖因此在战场上始终处于主动地位，屡破赵军。^[20] 

祖逖礼贤下士，善于体恤民情，即使是关系疏远、地位低下之人，也能施布恩信，予以礼遇。将士稍有微功，便会加以赏赐。他生活俭朴，不畜资产，劝督农桑，带头发展生产，又收葬枯骨，深得民心。刘琨在给亲戚写信时，大力称颂祖逖威德，晋元帝也下诏擢升他为镇西将军。石勒见祖逖势力强盛，不敢南侵，命人在成皋县为其母修墓，又致信请求互市。祖逖虽未回信，却任凭双方互市，为此收利十倍，兵马日益强壮。^[21]  后来，祖逖部将童建叛归后赵，石勒将其斩杀，向祖逖示好。祖逖亦与石勒修好，禁止边将进侵后赵，边境暂得和平。^[22] 

大兴四年（321年），晋元帝任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、司州刺史，出镇合肥。^[23]  祖逖认为戴渊虽有才望，却无远见卓识，而且自己辛苦收复河南，却仍不得朝廷信任，心中甚为不快。不久，祖逖又听闻王敦跋扈，朝廷内部矛盾日益尖锐的消息，担心内乱爆发，北伐难成，以致忧愤成疾。^[24] 

祖逖虽患病，但仍图进取，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌军攻破，特意派从子祖济率众修筑壁垒。但壁垒尚未修成，祖逖便在雍丘病逝，时年五十六岁。^[25] 

祖逖死后，豫州百姓如丧父母，谯梁百姓还为他修建祠堂。晋元帝追赠祖逖为车骑将军，并命其弟祖约接掌其部众。^[26]  后赵趁机入侵河南，祖约难以抵御，退据寿春。祖逖收复的河南大片土地最终又被后赵攻陷。^[27]