劉羨知道他們想說什么，這次司馬乂招劉羨過來，其實是在討論一事：到底該如何處置自己。
雖然以劉羨如今的名聲，沒有人能夠指責他，說他心懷禍亂，意圖不軌。可有人公開打出了復漢旗號，劉羨的忠心與否便已不再重要。一旦復漢軍遇到了劉羨，奉劉羨為主，誰能承擔以后的后果呢所謂君子不立危墻之下，明智的人此時就會做出決定，應早些剝奪劉羨的軍權。
只是司馬乂和劉羨畢竟已經共事了三年，期間一切順遂，並沒有什么齟齬。因此司馬乂斟酌再三，沒有第一時間做出這個決定。
而開過這次會議后，劉羨回到家中，一個人面對孤燈，獨坐良久。阿蘿知道詳情后，見他愁眉不展，安慰丈夫道：
“長沙王殿下是個好人，和我們又是親家，不至於如何為難你的。”
劉羨經她一說，只是嘆了口氣，輕聲道：“政治上的事，還是不要做太多僥倖。”
他去到內室拿了本《道德經》出來，在昏暗的燈光下誦讀幾遍，終於下定了決心。次日一早，便主動向朝廷上表。表示自己身體有疾，不能再處理政務，懇請辭去身上一切官職，在家中養病。同時，他推薦劉琨接任司隸校尉，嵇紹來接任衛將軍。
表文傳到驃騎將軍府，司馬乂頓時鬆了一口氣，他拿著文表，對上官巳等人說：“劉府君到底是位忠臣，知道自己避嫌，你們之前那些話，以后就不要再提了。”
原來，在那日會議之后，對如何處置劉羨一事，長沙王幕府私下里又進行了一次討論。
上官巳性情急躁，便直接勸諫司馬乂說：“會上劉司隸一言不發，目光閃躲，這顯然是生了二心了。殿下，您應該當機立斷，立刻除去這個禍害！雖然會背負些許罵名，但為江山社稷考慮，總歸是利大於害。”
聽此話語，其余人也多保持沉默，既不出聲附和，也不表示反對。但潛在的意思，其實也是贊同除去劉羨。只有祖逖出言反對說：“國家紛亂殺良將，天下人將怎么看朝廷到時候天下離心，怎么說利大於害”
司馬乂本也不想處置劉羨，但身為國家輔政，他又深知政治的殘酷，一旦做錯，是容不得人反悔的。因此他來回權衡其中得失，試圖找到一個最優解。此時收到了劉羨請辭的表文后，正好解決了他的顧慮，當即同意此請，給劉羨掛了個閒職，讓他轉任散騎常侍，打算等荊州的亂事結束以后，再重新將他啟用。
但結果正如前文所言，李辰擁立劉尼，勢力竟然一發而不可收拾，大有席捲江南，橫掃沔漢之勢。
至此，劉羨陷入了自孫秀被殺之后，最為黯淡的一段時光。
在此事發生前，他已是當今朝廷的實權外姓第一人。前來拜謁討好他的人群可謂不計其數，可僅僅兩三日間，他儼然成為了洛陽的不可接觸者，不僅不再有士人來拜訪探望他，就連平常出行也要小心翼翼。只要稍微在外面待得久一些，街道上便不時能看見一些行蹤詭異的人，一直尾隨劉羨。
劉羨明白，這大概是司馬乂派在自己身邊的探子，專門負責監視自己的行蹤。
如此一來，他乾脆不再出門，回到安樂公府，整日在家讀書練劍，就好像回到了出仕之前的生活。
不得不說，這種為人冷落的滋味並不好受。尤其是不久之前，劉羨還春風得意，以為自己大有可為。可轉眼之間，竟因為這樣莫名其妙的理由，就被迫潛居蟄伏，難免讓劉羨感慨造化弄人。