劉琨北上鄴城之后，劉羨與司馬乂留百人守河橋，并率禁軍主力返回河南，他們沒有在洛陽停駐，而是沿河東行二十里，駐扎在北邙山上，背靠北峰為屏，自東向西扎營列陣，其營壘最東端，距離成皋關僅僅只有十四里。
按照事前計劃，劉羨等人并沒有急于出兵虎牢關前，而是一面等待劉琨的回信，一面派斥候偵察前線消息。與此同時，為避免北軍進一步壓縮禁軍的活動空間，劉羨從主力中分兵四隊，每隊千人，分別由傅暢、上官巳、郗鑒、王導四人帶領，入駐到偃師、鞏縣、轘轅關、鄂阪關四城。
結果劉琨還未回來，朝廷便收到一則壞消息：許昌的范陽王司馬虓為北軍聲勢所懾，與虎牢關陸機處頻頻通信聯系，似有率征東軍司北上匯合的架式。
此事令朝廷百官倍感憂慮，若范陽王也加入北軍，那朝廷與北軍的差距將進一步拉大，國家分裂的局面也將進一步惡化，這無疑是司馬乂不想見到的。故而司馬乂遣使許昌，加封司馬虓為征東大將軍，希望以此來拉攏關系，勸說他不要北上。
其實按理來說，朝廷也不是沒有援軍。司馬乂在推翻司馬冏后，就令豫章王司馬熾前去接管青州，平昌公司馬騰前去接管并州，加上如今劉弘坐鎮的荊州，皇甫重所在的秦州，至少還有四州愿意聽從朝廷的號令。幽州都督王浚、涼州刺史張軌、交州刺史顧秘、廣州刺史王毅四人，雖說態度曖昧，但到底也沒有倒向成都王，仍奉朝廷為主。
可要命在于，除了正在平叛的荊州之外，這些地方都地處偏僻，根本無力參加河南戰事。但即使如此，司馬乂還是按照祖逖的建議，向這些地方盡數發信，希望他們都根據自身情況，對朝廷稍加支援。
而在這種情況下，劉琨完成使命返回河南，無疑令眾人松了一口氣：決戰的時間越早，對于朝廷就越有利，至少現在看來，雙方的實力暫時不會再變化了。
司馬穎給朝廷的戰書，是說要在九月底進行一場大戰，至于雙方約戰的具體時間與地點，則由前線的將帥自己去協商。
于是朝廷便再派使者到虎牢關，與北軍進行溝通。朝廷派出的代表乃是彭城王司馬釋，北軍派出的代表則是石超，雙方經過短暫的商議后決定，請朝廷禁軍后退十里，就在九月辛卯，雙方于偃師北面的邙山上進行會戰。
邙山雖名為山脈，但地勢并不算陡峭，尤其是偃師北面的山段，山脊是一段較為遲緩的斜坡，寬達四五里，尤其適合跑馬廝殺。將決戰的地點定在此處，雙方都是較為滿意的，于是成功達成協議，開始進行最后的備戰。
說是備戰，但瀕臨決戰時間，軍中氣氛頗為緊張，這并不利于作戰。劉羨為此建議司馬乂，在這最后的幾日，除去正常的巡邏盯梢，維護秩序外，倒不妨讓軍士們稍作歇息，養精蓄銳。
司馬乂同意此請，又對司空司馬越和尚書令樂廣下令，令他們改善這幾日的軍中伙食，適當地供給一些肉與酒。
于是軍中頓時就清閑了下來，在決戰的陰影下，士卒們多在軍營內和朋友們敘舊談話，他們一面喝著酒，一面追憶著人生往昔，時而笑語，時而放歌，沒有人提到將要發生的大戰。可毫無疑問，他們都希望自己能夠存活下來，取得勝利。
哪怕是司馬乂，此時也懷有同樣的忐忑，于是他領幕僚親信前往峻陽陵，拜祭自己的父親，晉武帝司馬炎。