大业十一年，十月。东海李子通因被长白山老贼博山公左才相猜忌，率所部万余人来淮南投靠杜伏威。杜伏威大为高兴，不料，李子通突然兵变，杜伏威措手不及，全军大乱，杜伏威本人在李子通的追杀下身负重伤，关键时刻，杜伏威的养子杜伏威在军中挑选壮士收为养子，共有三十余人兼大将王雄诞背负他藏匿到芦苇丛中，侥幸躲过了追杀。这次兵变，杜伏威的势力受到很大打击，从此与李子通结仇。

祸不单行，趁杜伏威兵败，隋将来整也率部前来进攻。杜伏威此时正在养伤，无法指挥，军队刚刚才经历了一场火拼，已是一支疲军，自然抵挡不住来整的进攻。杜伏威全军崩溃，其部将西门君仪的妻子勇而多力，背了杜伏威夺路而逃，王雄诞领着敢死队拼命断后，杜伏威这才逃得一命。

连续两次死里逃生，杜伏威部伤亡很大，失去了称霸的实力，只好四处游击，不断吸收流民加入以扩充势力。经过半年的恢复，杜伏威又有了数万人的实力，并控制了江都附近的**县作为根据地。与此同时，左才相往来淮北，李子通占据海陵，都有数万兵力，江淮一带即以这三家起义军为。

大业十二年，七月。杜伏威于盐城全歼隋军虎牙郎将公孙上哲，并数次与陈棱交战，虽屡屡失利，但陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持。

同年十二月，隋炀帝车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡，不料隋炀帝的到达，反倒给了杜伏威崛起的机会。

此时，正逢荒年，百姓本来就已无以为生，还要负担十几万大军的给养，终是造成了一场大饥谨。据记载，老百姓先是吃树皮树叶，后煮土为食，“诸物皆尽，乃自相食”。大量百姓揭竿而起，杜伏威乘机吸收了大批手下，势力迅膨胀。

杜伏威于军中挑选最精锐的军士组成自己的卫队，称为“上募”，兵力为五千人。杜伏威把上募兵作为自己的子弟兵，平时非常宠爱，但要求也非常严酷，每作战必以上募为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。每次战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜所部皆为杜伏威尽死力，人自为战，所向无敌。

这时杜伏威与陈陵强弱之势已经倒转，于是主动向陈挑战。陈陵也知道时局不利，战无胜算，因此龟缩不出，任由杜伏威自己去耀武扬威。杜伏威于是派使者给陈送了一套妇女衣裳，并送了陈陵个外号叫陈姥。

陈陵大怒，率全军出战。这一仗打得十分激烈，杜伏威亲自上阵，不小心被一员隋将暗箭射中，杜伏威怒吼道：“不杀了你，箭矢不拔！”

然后杜伏威打马就直冲过去，把那吓呆了的射手斩于马下，又提着那个弓箭手的级冲入隋阵，连斩数十人，隋军士气大挫，辅公祏趁机率领全军冲锋，王雄诞和阚陵率上募兵率先攻击，隋军全军崩溃，陈棱仅以身免。

随着势力和地盘的增长，开始有士人主动投奔杜伏威。杜伏威因此放弃了以前的流寇式战术，依靠这些士人，开始努力建设自己的地盘。由于本身就深受赋税之苦，杜伏威对领地内只收很低的赋税，由于其出身贫苦农民，对贪官污吏有着先天的仇恨。于是，杜伏威下令凡官吏贪污者无论轻重一律处死，从此杜伏威境内民情依附，自成一方势力。