當日下午，他就向西城侯府遞了一份名帖，希望能求見何攀。結果不出預料，這突如其來的一份拜帖，何攀並不接受，他以身體不適為由，果斷回絕了劉羨。
於是次日一早，劉羨又寫了一份拜帖，以極為謙遜的口吻，談及自己拜訪的理由。他表示如今國家多難，社稷傾危，藩王各自為政一方，其局面之混亂，堪比周平王東遷。這種危難時刻，長沙王雖有一腔赤膽忠心，但到底是個年輕人，經驗不足，正需要何公這樣的老人出山，為長沙王指點迷津。
這一次，何攀仍是拒絕了，不過回絕的態度也緩和了許多。他在回信中寫：自己並非是誠心回絕，而是確實年老體衰，身體不適，不適合出來做官了。面對國家現在的局面，他智力短淺，看不到出路，也沒有什么解決的方法，就請松滋公不要再做無用功了。而且兩人的關係比較尷尬，為了避嫌，也不要再聯繫為好。
劉羨見到這封回信，能從中感受到何攀對官場的厭倦，不禁對李盛感慨道：“看來我們這位蜀人領袖，是鐵了心，再也不出來做官了。”
李盛道：“主公，是要放棄嗎還是直接請天子詔令，強令他就征”
劉羨笑道：“才回絕了兩次而已，有什么好放棄的，我曾祖請諸葛丞相出山，不也去了三次嗎強迫也不好，平白多些齟齬，何必呢這第三次，我親自去和他談吧。”
說罷，他便把手頭的一切事務都放了下來，轉交給諸位幕僚。自己和阿蘿商議了以后，親自去西市里買了些調理養身的藥材，還有一些當季的水果。買完以后，也沒有乘車，把藥材水果往馬鞍上一掛，他就騎著翻羽，悠然自得地前往西城侯府了。與之作陪的，僅有李盛、諸葛延兩人。
西城侯府位於洛陽南郊，往南沿銅駝街出宣陽門，過太學，經浮橋出洛水，走約三百步，再繞兩個彎，方能看見這座與眾不同的府邸。
走到此處，幾乎遠離了洛陽的繁華。洛水邊遍布柳樹，在四月時節，如萬千綠帳籠罩江邊，格外令人賞心悅目。而在西城侯府周遭，又種滿了翠竹，清風來時，竹葉簌簌，好似有千言萬語，黃鸝、翠鳥們也隨之附和。聽到這種聲音，似乎人世的種種煩惱紛爭，都隨風遠去了。
劉羨抵達府門前，輕輕叩門，沒多久便有一個蒼頭過來開門。他打量劉羨，見其面目陌生，卻穿著稀鬆平常的青色儒裳，頭戴綸巾，腳踩步履，是很典型的儒生打扮。但劉羨久經宦海與沙場，身上自有一股貴氣與殺氣在，令蒼頭不敢小覷，他小心謹慎地問道：“敢問閣下是……”
諸葛延在一旁道：“我家主公是衛將軍、開府儀同三司、領……”
不等他把名號報完，劉羨便回頭看了諸葛延一眼，微微擺手打斷了他后，再對蒼頭展顏笑道：“請稟告西城侯，就說劉羨來訪。”
那蒼頭大驚失色，連忙行禮告罪，就往府內去了。
諸葛延見狀，對一旁的李盛低聲道：“看這臉色我就知道，今天這一行，還是沒戲。”
李盛不接話，劉羨則笑罵道：“又不是你被甩臉色，替我發什么牢騷少說點話吧。”