为了既能抗击金人，又能控制武将，宋皇帝赵构可谓费尽心机。建炎三年（1129年）闰八月，他任命主张议和的尚书右仆射杜充兼江、淮宣抚使，领行营大军十馀万士兵防守建康，并把中书省的大印交付给他，让他随时调动大臣。他让御前左国都统制韩世忠为浙西制置使，守镇江府；太尉、御营副使刘光世为江东宣抚使，守太平及池州，并要求刘光世仍受杜充节制管辖。
这时刘光世、韩世忠各持重兵，都讨厌受到杜充节制管辖，因此众说纷纭。刘光世又上书说，他受杜充节制有六大弊病，皇帝非常愤怒，责令刘光世迅速过江，且诏令不让刘光世进入殿门。刘光世虽然非常生气，心怀不满，但还是惶恐受命了。宋皇帝赵构看到刘光世服从管理了，就按照“胡萝卜加大棒”的办法，立即赐以银合汤药进行安慰。
建炎三年（1129年）九月，宋皇帝赵构来到登云门外检阅水军。这时有谍报说金人攻破登州、莱州、密州，并且于梁山泊大造舟船，有可能由海道出发攻打江西、浙江等地方。由于当初皇上任命杜充在建康节制诸将，路途非常遥远，指挥根本来不及。于是有大臣上奏说：“建康至杭州将近一千多里路，距离明州、越州又达到几百里远，如果大小事情都要往返一千里路请示报告，恐怕早就失去时机了。请以左军都统制韩世忠充任两浙、江、淮守御使，从镇江至苏州、常州地界，以及圌山、福山等要害部位，全部交给韩世忠全权管理。”
由于宋廷一向看不起武将，更看不起不识字的武将，韩世忠又没有读过书，不认识字，虽然韩世忠忠心耿耿，但皇上也只是把他当做工具使用而已。
因此宋皇帝赵构说：“那可不行。像韩世忠他们这些武夫将领，没有读过书，很少能深识义理，如果权势稍盛，将来必定与社充争衡夺权，就只让他全权负责圌山就已经足够了。”
与宋廷形成鲜明对比的是，金朝大兴学习之风，大胆提拔重用各种人才，大胆任命汉人韩企先为同中书门下平章事。这年秋季，金元帅府在蔚州开考复试辽国及两河学子，辽人考试内容以词赋为主，河北人考试以经义为主。金朝采用契丹三年考一次的科举制度。即初次为乡荐，再次为府解，第三次是省考，考中以后就叫做科举及第。当时有学士不愿意参加科举考试的，州县必定派人跟在后面督促他们。云中路察判张孝纯当时主持科举考试，就选拔了赵洞、孙九鼎等人。孙九鼎是忻州人也，大宋宣和年间曾经在太学学习，在来到金朝后第五年就中举了。
青州观察使李邈，留在金朝三年了，金人想让他当官，让他做沧州知府，他笑着却没有答应。后来金人下达了髡发命令，李邈非常气愤，就坚决抵制它，金人就以木棍挝击他的脸庞。他口鼻流血，就把鲜血吸吮了进去。第二天，他自己就把头发全部剃光，像个和尚那样，金人大怒，就要把他杀了。李邈将被处死时，颜色不变，告诉行刑者说：“请答应我面向南方辞别一下我们的皇帝。”拜完之后，向南方端坐着被杀戮，燕山之人都为他流涕哭泣。
建炎三年（1129年）冬十月，宋皇帝赵构逃至越州，就居住在州廨里面。
这时，知枢密院事、宣抚处置使张浚已经到了兴元（今陕西汉中南郑县），他再次上奏说：“汉中实在是天下形势之重地，如果想号令中原，必需以此为根基，历史已经反复证明了这一点。我带领大军在兴元积粟理财就等待着圣上巡幸，愿陛下早为西行之谋。如果来到这里后，就能前控六路之师，后据西川之粟，左通荆、襄之财，右出秦、陇之马，天下大计，就可以定下了。”
可是宋皇帝一心想着维持现状，过着皇帝的优渥生活，根本没有心思去北征进取，因此对张浚提出的定都汉中、关中的建议根本不加理睬。
这时，金人以宗弼为统帅，大起燕、云、河朔民兵继续向南进攻，又命令万户尼楚赫、布尔喝苏、托卜嘉、王伯隆等人带领女直、渤海、汉军到达黄州准备渡江。
金人到达岸边以后，最初得到江岸下面的小舟，但是数量不多，运输兵力非常缓慢。他们就毁坏居民房屋作为船筏，用大舟在前面拉着它们渡江而去。集英殿修撰、荆湖沿江措置副使王羲叔，仅仅听说金人进攻逼近黄州了，就赶紧坐着舟船逃遁而去。这样，金人不慌不忙、悠哉悠哉地用了三天时间，好像旅游度假一般地乘坐小船全部渡过了江。
江东宣抚使刘光世看到朝廷根本不愿意抵抗金人，又对武将到处进行打压牵制，因此把行军打仗的事情根本不放在心上。他在江州，每天与朝奉大夫韩梠置酒高会，宴饮取乐，并不关心敌兵是否到来。后来有人报告说，金人已经渡江了，刘光世还以为他们是蕲州、黄州之间的小盗贼，就派遣前军统制王德带领人马去兴国军附近剿灭他们。王德带领人马到了这里时，才知道真正是金人攻打过来了。由于没有任何思想准备，宋军大为惊恐，立刻丢盔弃甲逃走了。于是金人又从大冶县一路观光游玩去攻打洪州。
大臣李邺听说刘光世丢盔弃甲逃跑的事情，非常痛心。他负责制造铠甲，知道每副铠甲工料的费用达到将近八千缗之多。宋皇帝赵构也说：“唉！这些铠甲每一分毫，都是百姓生民的膏血，如果丢弃一片甲叶，就是丢弃了百姓生民的一方皮肤。你们这些将领士兵使用它们，应当爱惜啊。”
十一月，隆佑皇太后逃跑到了虔州。江东宣抚使刘光世派遣人驰骑告诉皇太后，说金人攻打过来了。滕康、刘珏赶紧带着太后以及皇上的妃嫔从陆路出发逃跑，其他人坐船从水路出发逃跑，其他随从官员各自按照情况自行逃跑。
集英殿修撰、江西安抚制置使、知洪州的王子献，看到皇上、朝廷权贵都逃跑了，自己也弃城遁走，去了抚州。中书舍人李公彦、徽猷阁待制、权兵部侍郎李擢一看大事不妙，也赶紧逃遁了。司勋员外郎冯楫一看已经逃不出去了，就藏匿在庐山的佛舍里面，而郎官以下的官吏更是乔装打扮，溃散奔逃不知去向。
冯楫逃到寺庙里，定了定神，赶紧去劝导刘光世出兵掩敌，说道：“金人现在孤军深入，最是兵家大忌。他们又想前进，却被大山阻挡；又想撤退，后边却是大江，他们这种列阵情况真是没有一点好处。但他们之所以敢如此放肆横行的原因，就是因为前边没有人抵抗他们，后面没有人袭逐他们。他们好像进入无人之境，之所以敢于无所忌惮，并非是敌人的能力强大，而是我们不抵抗啊。你看看这些村里的民众，他们这些强壮的青年尚且敢于和敌人交锋，也只不过是胜负各半，打了个平手。怎么咱们这些国家养活、训练有素的将兵，反而不如他们平民呢？官军遇到金人就望风而逃，畏之如虎，其实根本不需要那样害怕。如果太尉能选取精兵一万人，厚立赏格，亲自带领他们来洪州等处援救，故意放开一路让他们归去，然后再埋伏兵于他们回去的道路上，袭击他们，一定会使他们一匹马都回不去。”
刘光世心里明白，宋人军队毫无战斗力，怎么能与金人抗衡呢？首先，宋人军队都是乌合之众，平时提笼架鸟、吃喝玩乐，军职重要岗位、薪水高的岗位都被纨绔子弟占据，军功也被他们窃取，谁愿意拼死杀敌呢？其次，朝廷腐败堕落，即便是外敌压境、内匪迭起的兵荒马乱岁月，朝廷命官依然横征暴敛、风花雪月、携妓游乐、醉生梦死，只要有一天快乐，就享受一天快乐，根本不关心军事态势。再次，朝臣只关心个人职务、职位升迁，只关心贪权揽财，却担心武将不听指挥，通过减少军需、军饷、武器装备等多种形式进行限制掣肘。军人逃跑没有罪，但军人不听指挥就是叛逆罪。最后，这些士兵拖家带口，遇到战事首先想到的就是家眷、财物，军队官员和守城官僚更是如此，谁有心事打仗呢？因此，宋军之间经常发生抢夺、火并、自相残杀的事情。谁能指望这些拿着竹竿长枪、穿着纸质铠甲的士兵去打胜仗呢？相反，金兵军营有肉吃、有奶喝、有马骑、有金银财宝、有掠夺驱赶来的投降士兵作为个人的奴役贴身伺候，这是何等的快意呢！
因此，刘光世把冯楫这些话就当做耳旁风，根本就没有理会。