绍兴六年九月，刘光世因为怯战勾结赵鼑欺骗朝廷，将军队从庐州前线撤退到长江沿岸的当涂，若不是张浚明察秋毫，即时出面力挽狂澜，差一点就把淮右一带断送给偽齐，甚至威胁到朝廷的安危。
这个事件受到朝野人士越来越严厉的指责，首当其衝的赵鼑、折彦直等人都被逼相继离开朝廷，出任地方官去了。至于当事人刘光世，大家都说他临阵退缩，几乎酿成大祸，后来虽然还是打了胜仗，似乎可以补过，但是这种心态却绝对不适合继续担任大将，掌握重兵。
有一批专门喜欢落井下石的人，纷纷说他的军队一向军纪很差，将校士兵都蛮横不讲理，不容易指挥节制。身负全国最高军事统帅「都督诸路军马」的张浚，自淮西归来之后，也说刘光世沉溺酒色，不关心国事，所以必须马上解除他的兵权，藉以警惕其他的将领。
在这层层声浪的压力下，高宗当然也很想罢黜刘光世，只是接替的人选还未决定。所以他命三省枢密院一再以《省札》传达旨意，要岳飞前来行在所奏事，表示岳飞至少应该是他考虑中最合适的人选之一。
岳飞一直到绍兴七年三月才在建康晋见高宗。这次见面地点还是在御书房。
高宗正在书房练习书法，当了皇帝之后他就不再练武，所以除了女人之外，这就是他最大的兴趣；除非像逃难时不得已，否则他每天都要练练字。
行过君臣拜见之礼后，高宗让岳飞看他所写的，原来只是「李马泥马」四个字而已。
「朕一生中最自豪的几件事，像是博闻强记、可挽强弓，结果都输给你；幸好还有一项书法胜过你，聊表欣慰。」高宗笑着说：「不过朕还有一项专长，很少让人知道；朕很会相马，好马坏马，只要让我听一听牠的马啼声，即使隔着一面墙看不到，朕也可以分辨出来。」
高宗又问岳飞：「对你们武将来说，一定要拥有一匹好马，打起仗来才能得心应手啊！是吗？」
岳飞说：「臣曾有两匹马，很难伺候，每天要吃几斗的饲料，喝十斗的泉水，而且必须挑精美乾净的才吃；若是披上鞍辔奔跑，起初没有很快，等跑了一百里才开始快速奔跑，从中午到黄昏，还可以再跑二百里，卸下鞍辔之后，不喘气也不流汗，好像没事的样子。不幸这两匹马接续死了。我现在所骑的马就简单多了，每天吃的不多也不挑食，喝水从不选择泉水，繮绳还没拉好，就跳起来急速奔跑，才跑一百里，就用尽了力气而流汗喘气，几乎快要死的样子。」
高宗点了点头说：「你现在所骑的就是标准的劣马，牠好驾驭，又吃得少，容易满足，跃跃欲试爱表现，可是很容易力气衰尽无法持久，偏偏一般人却喜欢这种才能低下的劣马。至于你以前那两匹，表面上看起来爆烈难驯，不好驾驭，而且十分挑食很难满足，可是只要让牠顺服就是一匹持久耐劳的好马啊。」
「皇上是在教臣下如何用人吧。」岳飞笑着说：「臣岳飞瑾受教诲。」
「彼此彼此，朕也正在慢慢琢磨体会。」君臣两人相视一眼，不约而同哈哈大笑。
笑了一阵子之后，高宗问岳飞说：「说正经的，你对朕的一切都清楚不过，你认为朕这个皇帝当得如何？」
「当年你一个刚满二十岁的小伙子，突然遭逢国破家亡，整个天下大任全部落到你的肩上。你只能号召四散的文臣武将来维持国家的运作，刚开始几年还要不断逃避金人的追杀；经过十年拥有这个局面，我打从心里佩服你，我以你这个朋友的成就为荣。」
岳飞慢慢地说，前尘往事一幕幕迅速地掠过高宗眼前，累积多年的心酸霎时笼罩了他的心头，眼泪不禁夺眶而出。
「所以你绝对有资格说，如果没有岳飞，没有李马，就没有今天的朕；但是我也可以说，如果没有朕，就没有今天的岳飞──至少没有今天的岳太尉。」
高宗招了招手，韩诚就不知从哪里搬来一大叠帐册，随意抽取一本翻开，上面记录着某年某月某日，发给岳家军军器、粮草、军费、布匹等各若干细目等等。
「皇上说你岳家军属于指标性部队，又打着绝对不抢掠扰民的口号，所以将你的后勤补给特别交给我最优先办理，就算其他单位都缺粮，独独不准缺你的粮。所以只要碰到短缺时期，你都不知道我置办得多么辛苦？尤其这几年你人数快速增加到超过十万，不管是鄂州还是襄阳府都在上游，东西备齐还需筹船隻逆流而上，所以有时候稍慢一点还请多多包涵。」
岳飞对于补给不足只好放弃北伐之事，本来想大发一顿牢骚，这时也只好忍住，依例叩头谢恩。
临别之前，高宗突然冒出一句话说：
「刘光世掌管的二十万淮西军，朕想把他收回来，只是还没决定交给谁，如果交给你，你觉得如何？你先研究一下，以后再作决定。」
刘光世自己知道待不下去，便向朝廷送上奏章，自请解除淮西军兵权。高宗收到奏章之后，跟左右的人说道：
「刘光世对于军队的训练，远远不如韩世忠、张俊等人，更别说与岳飞相比了。他这支部队的素质，本来是全国数一数二的精锐之师，极为驍勇善战，可惜主将过于怠惰，每个月耗费了那样多的银钱米粮全是民脂民膏，却由于缺乏训练、无法奋战建功，实在太可惜了!总之，将帅绝对不可骄惰，更不可沉迷酒色。」
三月十四日，岳飞收到两份公文。
第一份是诸路军事都督府张浚发来的，其中依次列举了淮西军所有将领的名字，以及各人帐下官兵与马匹的数量，希望岳飞看了之后隐密收藏，而且暂时不要跟属下说起这件事。」
第二份是，高宗写给淮西军的部将王德等人的一道《御札》，要他们在今后听受岳飞的节制，希望经由岳飞转交给王德等人。
从这些公文看来，高宗与张浚似乎已经商量好，要把刘光世所统领的人马全部併入岳家军。
岳飞一生最大的愿望就是实现宗则的遗志，率军北伐，驱逐胡虏，收復所有的失土。之前三次北伐，几乎都只有岳飞带领几万人孤军深入，前面的箭头部队要攻城制胜难免会有死伤，一路上又要分兵留守，人马根本不够分配；如果真的能够合併淮西军，他们人数多，素质又不差，只要稍加训练，加强一下军纪，马上就可以上战场。
若真的拥兵三十万，依据以前宗帅所订三路北伐之计，不但是恢復中原，就是进攻燕、云，直捣黄龙也都不再是空幻的梦想了。
岳飞越想越兴奋，一心盼望着正式的公文早日发布。
高宗与岳飞两人，当初一个是毫无实权的空心小王爷，一个是默默无闻的习武年轻人，在半开玩笑的情况下，一个说如果当上皇帝，另一个也说万一当上他的大将军，谁知老天爷特别眷顾，今日居然一切成真，而且似乎还超出当时的梦想！所以高宗一时兴起想玩得更大一些，加上一直期待北伐的张浚在旁敲边鼓，所以随口说出将淮西军併入岳家军的事来。
其实在岳飞离开之后，韩诚马上表达了反对之意。
南宋的财政状况一直没有踏上轨道，只能不断挖东墙补西墙。岳飞的部队军纪好，除了他治军严明，谨守原则之外，更大的原因是高宗交代，无论多么困难都以岳家军后勤补给为优先，所以才能对百姓们秋毫无犯。
如果将淮西军拨归岳飞，人数突然暴增三倍，韩诚直言绝对供应不上，尤其是马上发动这三十万人，分兵北上去跟偽齐、金人作战，保证撑不了两个月补给线就会出事。
被北伐胜利冲昏头的张浚，稍微冷静下来分析一下当前的军事力量佈署，发现在长江中下游有韩世忠、张俊与刘光世等三人各据要塞，再来是长江中上游有岳飞与吴玠两人，兵力虽然较少但是与将帅关係密切，战斗力也比较高。虽说要稳定时局不得不倚重军人，但是由五大军事力量划分各自的战区，终究是宋朝立国以来最不想看到的局面。
刘光世不适任必须罢黜，这一点毋庸置疑；但是有必要将淮西军併入其他四人之中任何一军吗？以目前情况看来，不管加入谁的部队，都将使那个人实力爆增，凌越他人甚多，形成尾大不掉的局面，从根本上完全违反祖宗传下来的规矩。
于是张浚赶快去找高宗，将自己的想法告诉他；两个人稍为讨论了一下就决定，淮西军还是一支独立的部队，将统制王德升任都统制，由都督府直接统领。
总之，一切都没变，只是五大军事力量之中，淮西军一支的大帅由刘光世变成张浚。
对于岳飞来说，从一开始就没有覬覦刘光世的部队，甚至连朝廷想罢黜他都不知道；是高宗与张浚主动告诉他要把淮西军併入岳家军，等到岳飞的雄心壮志受到激发，热情高昂后又浇他一盆冷水，当然会有被耍的感觉。
因此，岳飞于邵兴七年三月怀着极端灰心失望的情绪离开建康，溯江西上回到庐山东林寺旁他的居第中去。岳飞实在按捺不下心中的不平，便写了一道奏章给朝廷，只说因为与宰相张浚议事不合，请求解除兵权，留在庐山，为他的母亲补满守孝的时间。
高宗收到岳飞的奏章，一方面马上退回不准，希望他復出治事，一方面又接受张浚的建议，委派兵部侍郎张宗元前往鄂州去担任宣辅判官，暂时接替岳飞掌理军务。
张宗元是张浚的亲信，张浚安排他充任这个职位，既可就近观察岳飞是否有与部属连络？还可监视他们的反应与行动。万一岳飞与高宗真正闹翻，他更可直接接收岳飞的部队。
高宗连续下了三次命令给岳飞要他復出，岳飞都坚持不理之后，高宗只好故技重施，用三省枢密院的名义下了一道《省札》给鄂州宣抚使司的参议官李若虚和统制王贵，命他们一起前往庐山敦请岳飞回到鄂州管理军务。如果岳飞违抗此令不予遵行，李若虚与王贵等都要接受军法处置。
李若虚与王贵，一文一武，等于是岳飞的左膀右臂；他们马上啟程往庐山东林寺去见了岳飞，说明朝廷的恳切敦请之意。想不到岳飞还是坚执不肯接受。
李若虚眼看好话说尽都没有用，只好以严厉的口气说道：「岳帅是一个军人，如此坚执不听从朝廷的旨意绝对不是好事。而且一而再，再而三，难道不怕朝廷上有人產生疑虑，怀疑岳帅是否想干什么？」
李若虚又说：「岳帅原本只是河北的一个农夫，受到皇上这样的信任，如今担任一军统帅，难道您以为可以和朝廷相抗吗？您这次若仍坚持不肯回鄂州军营，我们这些手下势将受刑而死，我们究竟有哪里对不起岳帅，您又何忍把我们置之死地呢？如果真的走到这步田地，难道您对我们都没有一点愧悔之心吗？」
类似这样的谈判持续了五天，当天夜里岳飞实在睡不着，起来坐在凉亭上一个人想了很久。
自己与高宗的击掌立誓，旁边只有一个马屁精韩诚，这次自己被耍的来龙去脉顶多又多一个老狐狸张浚知道，当初他们俩人主动说要把淮西军给我的时候，千叮嚀万嘱咐要我绝对不能把这件事告诉任何人，所以现在全天下人大概都认为一定是岳飞仗着战功彪炳要夺淮西军权，因为没有得手才老羞成怒，耍小孩脾气。甚至连自己的部下，应该也都是这么想的吧。
王贵这傢伙，跟上辈子王英比起来武功虽然长进不少，但是胆小怕事，眼光短浅，唯利是图的毛病却一点没变，从来不会站在别人的立场思考，有这种反应十分正常；李若虚在自己营中算是很有见地的人，平常对自己也很敬重，这次连他都会说出这种重话，可见自己应该是因为北伐的美梦破碎，一时太过恼恨，没有完全想清楚就鑽进了牛角尖。
赵构你这傢伙，竟敢负我！难道不怕老天有眼？对了，他那时不是有立誓吗？他赵构若负我岳飞，老天就让他──绝后！如今他会这样做，是否代表说：「反正我已经确定绝后，负不负你岳飞又如何？」妈的，你赵构真不是人！
岳飞含着眼泪，仰天大笑。
第二天他就收拾行囊，跟着部下回返军营。