仙霞關破，岳樂巋然不動，是因為其延平大營囤積糧草極多，完全可以支應到多尼的到來，更重要的是，其身后還有通往江西的杉關，自古有閩之有仙霞、杉關，猶秦之有潼關、臨晉，蜀之有劍閣、瞿塘也。一或失守，閩不可保矣。
但陸軍從閩北進入江西則造成態勢完全不同，江西一直是滿清后方，江西精銳多西調加強西南的攻勢，剩余的兵馬或在沈永忠麾下效力，堵在贛州，擋住梅關北上的瓊藩軍隊，或從杉關入閩，加強延平大營，如今江西被寇，后方失穩，更可怕的是，陸軍一路西進，便可破廣信、撫州、建昌三府，這意味，江西與福建的交通被完全切斷，在江西兵馬無法阻擋的情況下，唯有延平大營的清軍回撤，才能保住后路。
永歷十二年四月下旬，清軍開始從延平城撤退，岳樂親自指揮撤退行動，首先是江西綠營回防杉關，保住退路，繼而是浙江、江南綠營，岳樂親率麾下八旗押陣福建綠營殿后，步步為營，全面后撤。
計劃非常完美，但實施起來卻狀況百出，江西、浙江綠營先后發生大規模的嘩變，搶劫延平、邵武兩府，一路燒殺返回江西，這些外地客軍如此表現，其原因源于缺餉，兩廣會戰之后，滿清一路高歌猛進的局勢為之消失，取而代之的就是數千里戰線上的攻防戰守，而遷界禁海又破壞了沿海數省的賦稅，使得其積攢數年的錢糧也只能支應起云貴戰場的全力開銷，即便是如此，在永歷十一年，因為戰事吃緊，滿清恢復了朱明時代的三餉以此增加了五百多萬的財政收入，但仍然支持不起東南西南兩場大戰，在資源早已調配西南之后，東南戰場財政吃緊，許多綠營兵往往拖欠餉銀，如今大撤退，外省客軍自然趁機搶掠截殺，以補足欠餉。
客軍搶掠迅速擴大到浙江和部分江南綠營，使得延平撤退失去了秩序，在清軍離開延平府之后，海軍陸戰隊與部分海軍水手強渡閩江，迅速占據了延平府的碼頭，城中百姓已經被兵災禍害過了，見合眾國軍軍紀良好，且出錢糧雇傭使船、拉纖、搬運之人，紛紛響應協助，大軍不出五日便是全部渡江，而陸軍騎兵在渡江之后，迅速組織兵馬追擊，烏穆組織了數隊兵馬，分別派遣往大路小路的追擊，迫使清軍放棄諸多錢糧輜重。
在延平、邵武二府境內，爆發了大小十余次戰斗，陸軍兇猛沖殺，而清軍卻是無心戀戰，清軍多次是擊潰，以至于殿后的岳樂也無法掌握福建的綠營，被迫率領八旗精兵殺出血路，先撤往杉關。
烏穆與巴海各自率領騎兵前出，分隊追殺，半路之上，烏穆的率領的混編騎兵旅被福建綠營馬得功部所阻擋，而巴海的麾下以輕騎兵和龍騎兵為主的騎兵部隊卻是突進到了光澤一帶，此地距離杉關不過百余里，抓了一批福建逃兵才是知道，岳樂率領八旗正在光澤碼頭渡河，巴海迅速集合兵馬追擊。
光澤附近已經閩江支流的上游，兩岸幾乎都是高山密林，碼頭處于光澤城外，立于兩山之間，是上游少有的平緩地段，但水流依舊湍急，清軍在此有大小船只四十余，還有可以過馬匹和兵卒的碼頭。
巴海登山而望，但見碼頭附近地形開闊，而大量火炮和輜重車輛因為渡河不成而拋棄在路邊，此間的清軍已經得知追兵趕到，在河流南岸，立起柵欄，連住大車組成工事，騎兵部署在兩翼，而鳥銃和弓箭手則布置在工事后面，南岸清軍有近兩萬，騎兵也有近千，幾乎是巴海麾下兵馬的三倍。