本來一個人在遭受了重大的挫傷打擊之后，一般總要尋找一個自我慰藉的方法，才可以勉強活下去。秦觀以佛學自遣，這種用心，自可想見。
誰知被別有用心的人，以“謁告寫佛書”構成了他的罪名，不僅把他貶謫到更遠的郴州，而且還削去了他過去所有的官秩，這一次的貶削，無疑的對秦觀造成了更深重的一次打擊。因為前次的貶謫處州，是為了黨籍及修神宗實錄而遷貶，其獲罪之名全出于政黨之爭，這種遷貶，猶復可說。至于這一次貶削，卻是為了“謁告寫佛書”的罪名。所謂“謁告”，本是宋代對于因事或因病“告假”的一個別稱。一個人在因病請假的日子寫寫佛經，這有什么罪名可言，而竟被有心人羅織，落到遷貶削秩的下場，秦觀內心的絕望悲苦，必然更會結合有不少屈抑之情，其易感之心，更易摧傷。就在貶到郴州的第二年春天，他寫下了膾炙人口的《踏莎行·霧失樓臺》。據秦觀年譜，他在寫了這首《踏莎行》詞的第二年，又自郴州被遷貶到橫州，又次年，又被貶到雷州。
他曾在雷州寫了一篇《自作挽詞》：
嬰釁徙窮荒，茹哀與世辭。
官來錄我橐，吏來驗我尸。
藤束木皮棺，槁葬路傍陂。
家鄉在萬里，妻子天一涯。
孤魂不敢歸，惴惴猶在茲。
昔忝柱下史，通籍黃金閨。
奇禍一朝作，飄零至於斯。
弱孤未堪事，返骨定何時。
修途繚山海，豈免從闍維。
荼毒復荼毒，彼蒼那得知。
歲冕瘴江急，鳥獸鳴聲悲。
空蒙寒雨零，慘淡陰風吹。