在这段时间里，岳飞（李明）也不忘收拢残兵败将，招募那些有志向、有能力的人加入岳家军。通过这种方式，岳家军不仅恢复了实力，而且还扩大了规模。岳飞（李明）相信，只要做好充分准备，下一次与金军交战时，他们一定能够取得更好的战绩。
与此同时，在北方地区，一个名为“伪齐”的政权悄然崛起。这个政权是由金朝皇帝一手扶持起来的，其首领是刘豫。在金朝的支持下，刘豫在大名称帝，建立了齐国，史称“伪齐”。伪齐政权的存在使得原本紧张的宋金关系变得更加复杂和微妙。伪齐的疆土恰好位于长江以北，一直延伸至燕云十六州，宛如一道坚固的屏障，将金国隔绝在外。这意味着金国若想再次南下侵略，路途将会变得更为艰难和漫长。
这样一来，南宋终于得以喘息，有余力关注国内的各种问题，并着手解决这些困扰已久的难题。由于金军的强大攻势，许多士兵被打散，成为无家可归的散兵游勇。他们无处可去，只能聚集在一起，形成了一股庞大的盗贼力量。这些游寇四处游荡，肆意妄为，对百姓造成了巨大的伤害。
其中，最为强大且破坏力最大的当属那些流窜于江、淮、湖、荆等地的势力。例如，李成、张用、曹成、孔彦舟等人便是如此。他们率领着庞大的军队，四处掠夺，令百姓生活陷入水深火热之中。
张俊于建炎四年十二月被任命为江南路招讨使，负责剿灭这些游寇。然而，经过数十天的努力，他并没有取得明显的成果。于是，他向朝廷请求派遣通、泰镇抚使岳飞一同前往平叛。
此时，岳飞（李明）已经得到上面来的圣旨了，而现在岳飞的灵魂是李明。李明心中暗自思忖：“好你个张俊，你这老家伙，这么长时间过去了，连一个小小的贼寇都未能消灭，现在居然让我也参与进来？如果我们成功平定叛乱，所有功劳都会归功于你；但若不幸失败，责任却会落在我身上。你这如意算盘打得真是精妙啊！恐怕我站在长江边上，都能听到你那算盘珠子噼里啪啦作响的声音呢！但是没办法，只能遵照朝廷的圣旨前去支援这个老登。
绍兴元年正月十五日，岳飞（李明）率领军队从江阴赶到宜兴，然后前往饶州与张俊会合。此时，流寇李成的部将马进想要侵犯洪州。张俊得到消息后，立刻进驻洪州，并与马进形成了对峙局面。然而，张俊并没有主动出击，而是选择了等待时机。直到三月初三日，岳飞（李明）率领部队赶到洪州。他向张俊献计，表示愿意亲自担任先锋出战。
初九日，岳飞（李明）带领军队从生米渡渡江，在玉隆观一带遭遇了马进的军队。双方展开激烈战斗，最终岳飞（李明）取得了胜利。马进率残部逃窜，岳飞（李明）紧追不舍，追击了二十五里。马进试图反击，但被岳飞（李明）一箭射死了先锋将领。岳飞（李明）挥军向前，马进的军队望风而逃，纷纷向西窜入筠州。
十一日这天，马进全军出击，摆开了长达十五里的阵势。岳飞（李明）亲自带领两百名骑兵，高高举起“岳”字大旗来引诱敌人。马进刚刚开始交战，官军预先埋伏好的伏兵就四处出现，马进遭遇惨败，投降的人多达八千。
岳飞（李明）继续追击马进的残余部队到朱家山，又斩杀了他的将领赵万。李成听说马进战败，非常愤怒地拍桌子站起来，决定亲自率领号称有十多万的军队，与官军在奉新楼子庄相遇。岳飞（李明）与张俊的大军联合起来，大破李成的军队，俘虏了两万人，缴获战马两千匹。
李成兵败逃走，逃到蕲州，后来向伪齐投降。
李成被平定之后，还有一股流寇叫张用，拥有五万兵力，还在江州瑞昌县和洪州分宁县一带活动。岳飞（李明）知道张用是自己的老乡，于是写信给他，以同乡的情谊、早年的同袍之情以及利害关系来说服张用。张用读完岳飞的书信后，便向使者叩头下拜，并说道：“果然是我的父亲啊，我怎么敢不投降呢？”于是他率领部下投降。张俊因此对下属官员称赞岳飞的勇敢和谋略，感慨道：“我和你们都比不上他啊！”
绍兴元年七月，南宋朝廷将岳家军的军号定为神武右副军，任命岳飞（李明）为统制，让他们驻扎在洪州。
同年十月，南宋朝廷授予岳飞（李明）亲卫大夫、建州观察使的官职。十一月，南宋朝廷正式将岳家军改号为神武副军，并将岳飞（李明）正式晋升为都统制。
李明对于是否升官并没有太大的感受，他更关注的是攻打流寇、山贼和强盗所带来的收获。这些战斗不仅能够锻炼士兵的胆识，还能让军队得到发展壮大。通过收编几万人的队伍，他手下的军队实力大增。然而，随着人数的增加，粮食问题成为了一个挑战。他只能希望不要出现太多的困难情况。
绍兴二年正月，为了剿灭两湖一带的流寇势力，宋廷决定任命岳飞（李明）担任权知潭州兼权荆湖东路安抚使、马步军都总管等职务。这个决策旨在依靠岳飞（李明）的军事才能来稳定局势，并消除这些游寇对当地社会造成的威胁。
三月十七日，岳飞（李明）率领军队从洪州出发，踏上了征讨侵扰湖南、广南诸州的曹成的征程。他首先向曹成传达了朝廷的旨意，希望他能主动投降，但曹成拒绝了这一请求。面对这种情况，岳飞（李明）并没有放弃，而是继续推进军事行动。
他们经过郴州、桂阳监等地，最终抵达道州。四月，岳飞（李明）派遣前军统制张宪和吴锡带领军队沿着全州向西南方向前进，目标是桂州。通过这次进攻，岳家军成功地解除了曹成军队对桂州的围困。
然而，曹成军并没有轻易放弃，他们战败后向南逃窜，选择退守荔浦县东北的莫邪关。岳飞（李明）下令让张宪攻打此关。当岳家军攻破关厢并庆祝胜利时，却遭到了曹成部将杨再兴的突然袭击。在这场激烈的战斗中，岳家军第五将正将韩顺夫不幸牺牲，而进入关口的官军也不得不后退。