他不光自己走，還讓家眷都離開了建康，前往會稽郡的家中居住。
之后就頭也不回的離開了。
一路急行趕到新野桓豁的行在把他堵住，只用一句話就把他給勸住了：
桓溫和桓沖都在包圍圈里，你是桓家最后的希望，如果你再折損在那里，桓家怎么辦？
桓豁也是個大才，之前只是消息太突然失了智。經過謝安提醒才知道，自己盲目出兵只會徹底葬送桓家。
他是吃過苦的，當年他父親早逝留下他們母親和哥幾個，日子過的相當艱苦。
他母親病了需要吃肉，買不起怎么辦？桓溫就把年幼的桓沖質押在養羊的人那里，換了一只羊回來。
還好那個養羊的人很喜歡桓沖，視如己出甚至還想讓他過繼給自己，只是被桓溫拒絕了。
桓家崛起后，桓沖重謝了養羊人當年的恩情。
年幼時候吃過苦，好不容易才重振家門，桓豁自然不希望家族再一次沒落，也不想桓家的孩子再經歷他們的苦。
所以，盡管很想去救兄弟，在謝安的勸說下還是忍了下來。
之后謝安就去見了謝玄。
此時的謝玄已經是二十六七歲的青壯年，娶了桓溫的侄女為妻，兒子都一歲出頭了。
他知道自家和唐國的關系，得知父親被圍并不是很擔心。他發愁的是，謝家該怎么面對當前的局面。
見到叔父過來，連忙屏退左右請教起來。
謝安道：“夾在兩國之間，我們做的越多錯的越多，坐觀時局發展吧。”
謝玄道：“這也太被動了吧？”
謝安重重的嘆息道：“被動也比盲目出手要好啊，唐皇可不是個心慈手軟的人。如果我們貿然參與進去，恐怕不好收場啊。”
謝玄道：“不會吧，他總不能不顧及大姊的感受吧？”
謝安道：“帝王無私情啊，如果你大姊敢阻攔，可能連自己都無法保全。”
“且接納道卿（謝靖）入唐就是他對你大姊的補償，之后我謝家的存亡就只能看自己的選擇了。”
謝玄頭大的道：“真麻煩，我寧愿面對十萬大軍，也不想面對這種事情。”
謝安道：“比起別的家族來說，我們的情況已經很好了。至少我們還有的選擇，他們……”
后面的話他沒有說出來，但意思在明白不過。
“好了，就說這么多吧，你千萬要穩住不要被人看出端倪。”
謝安在這里避風頭，建康那邊可沒閑著，經過一番激烈爭斗之后終于確定了北府兵統帥的人選。
情況緊急，趕緊走馬上任。
其他各地的軍隊也紛紛動身，前往長江各渡口進行防守。
然而還沒等他們完成調度，唐國的艦隊就出現在了長江口。