开皇九年（589年），隋文帝杨坚灭掉南陈后，中国重新实现了统一。在隋文帝的励精图治下，隋朝出现了自汉亡后乱世四百年以来未有之繁荣局面，史称“开皇之治”。然而隋炀帝继位后，却一味的横征暴敛、穷兵黩武，无尽的劳役和赋税压迫得百姓无以为继，只好纷纷揭竿而起。其中有一支由杜伏威和辅公祏领导的江淮起义军，势力颇为强大。
杜伏威是齐郡章丘人，自幼家贫，也不经营谋生之业，只好经常做些穿墙翻壁的行径以为生。同乡辅公祏与他是生死之交，多次从其姑家偷羊给杜伏威吃。公祏的姑姑遂心生怨恨，去官府告发了他们，杜伏威和辅公祏只好亡命天涯。两人逃到了长白山（今山东章丘东北）地区，聚集起了一帮人组成了强盗集团，落草为寇。
江淮一带隋朝力量还比较强大，杜伏威意识到自己力量还太弱，于是努力寻找机会去联合和吞并附近的起义军。当时有海陵贼帅赵破阵一股势力比较强大，他觉得杜伏威兵少，不把他放眼里，就派人来让杜伏威归顺。杜伏威带着十个将士前去拜见，赵破阵非常高兴，当即召集了所有头目在营帐内尽情痛饮。然而就在宾主尽欢之际，杜伏威突然抽到割下了赵破阵的脑袋，这时又有辅公祏率军攻打，于是杜伏威军大获全胜，之后就收编了他的同伙，势力逐渐强盛起来。
大业十二年（616年），隋炀帝不顾群臣反对，离开长安前往江都巡幸。江都刚好是杜伏威的势力范围，为了保障隋炀帝的安全，隋军派出大将陈陵前往讨伐杜伏威。此时正逢江淮地区闹饥荒，又因隋炀帝到江都后沉迷声色、滥用民力，百姓被压榨的无以为生，纷纷起兵造反。杜伏威则趁此大肆扩张，实力迅速膨胀。
如此一来杜伏威的阵势反而压倒了陈陵军，陈陵见战局不利，遂闭城不出。于是杜伏威就派人送给了陈陵一套妇女衣裳，并送他外号“陈姥”。这陈陵怒火中烧，立即全军出战。杜伏威亲自上阵，却不小心被一隋将射中额头，当场射得他血流满面。杜伏威怒发冲冠，吼道“不杀汝，我终不拔箭。”于是一马当先冲入敌阵，所向披靡，亲手活捉了那个射手，并让他把自己额头上的箭拔下来，然后才一刀结果了他。
之后，杜伏威又拿着那个弓箭手的脑袋连杀了几十个人，顿时隋军士气大挫，最终被打得个全军覆没，只有陈陵单骑逃回江都去了。在整个隋唐之际，猛人无数，但像杜伏威这般悍勇无畏的，实所罕见。此后，杜伏威不断扩大战果，最终成为了江淮地区势力最为强劲的一支队伍。
李唐建立后不久，隋末蜂起的各路反王就逐渐的被消灭殆尽了，唯一还能对李唐构成威胁的就是杜伏威的江淮军了。这让杜伏威心中十分不安，为免嫌疑，杜索性上书李渊，请求入朝。杜伏威的主动献忠心让李渊很是满意，于是就封他为太子太保，成为了仅次于李渊、李建成、李世民三人的大唐第四号人物。
不久辅公祏发生兵变，夺了江淮军的领导权，公开反对李唐。叛乱虽然最终被镇压了，但杜伏威因是自己的旧部造反，难免受到猜忌，在长安的日子过得如坐针毡。武德七年（624年），杜伏威在长安暴卒，死因不明。据《新唐书》载是杜伏威好长生药，误服云母中毒而死，只怕中毒是有的，但如何中的毒就很难说了。