對皇帝誠摯的邀請，高岳當然是——婉言拒絕。
他回復說，臣絕非有沽名賣直的念頭，只不過統萬城尚未滅，臣還是得留守在撫寧。
很快皇帝的第三次要高岳入京為相的詔書抵達。
高岳繼續拒絕。
第四次，皇帝說，你、韋皋的畫像已經上了凌煙閣了，和李晟、馬燧、段秀實靠著，都在朕的旁側（德宗年輕時當過天下兵馬元帥，畫像上了凌煙閣）。
可高岳還是表示，陛下另請高明，不，是另請賢能吧！臣岳如在中樞，未必能盡展所長，平定黨項后我便歸隱第二故鄉興元府鹿角莊精舍里，以詩書射獵自娛，死后碑文上但寫“唐故御營都統長史高岳”即可。
第五次第六次第七次，皇帝的口風越來越焦灼。
最后還是翰林學士衛次公，給皇帝起了個點子，他對李適說：“陛下在位以來，宰相楊炎、竇參、喬琳被處死，常袞、盧杞、蕭復、姜公輔、張延賞等左遷廢黜，淇侯不想來中書門下平章事，似乎也情有可原。”
“從周你這話什么意思？”皇帝大為不滿。
不過衛次公接下來倒說，七次明詔淇侯不來，怕只有密詔才能來。
皇帝一聽有理，明詔的話你來我往，打嘴皮官司，遷延很久，可密詔代表的是朕真實不容置疑的想法，不由得高三他不來！
這時翰林院也遭到了大清洗。
吳通玄娶虢王李則之侄女為妾的事情敗露，皇帝發怒說，吳這樣的翰林學士，居然敢“沾污宗族之女”，還降其為妾，當即遠貶，后來怒猶未平，派中官跟進，在驛站里將吳通玄杖殺。
而吳通玄的弟弟吳通微，嚇得整日跪在光順門前待罪，都不敢為死去的親兄長披麻戴孝。最后還是司馬承禎前來求情說項，皇帝便剝奪吳通微的所有官職，罰入道觀中為奴。
現在翰林院以韋執誼為承旨，李吉甫、衛次公其后，皇帝暫時還沒召其他人進來。
于是皇帝就讓衛次公草擬了密詔，急速往撫寧寨送去。
得到了密詔后，高岳反復思索了會兒，就把幾位心腹給喚來，坦誠說：“這趟京師，我是不得不去了。”
明懷義急不可耐，“淇侯你必定要當宰相了......”
話還沒說完，高岳就舉起手來，示意他不要再繼續，“我唐的宰相難為啊，圣主連續七次下詔，我實在是難以推阻，不然便有輕君的嫌疑。”
說完后，高岳就開始委托，將羌屯托付給誰，將三衙事務托付給誰，將軍伍和營壘托付給誰，如此搞得他好像不是準備入京白麻宣下似的，倒像是在托付后事，弄得大家面面相覷，不明所以。
不過高岳心中是有數的，這么多年，他已經深諳應付皇帝的一套了。
所以他有自信，這次依舊能全身而退。
在高岳和班宏起行時，撫寧當地的驛館來了封信件，高岳拆閱后，就知道妻子云韶又給自己生了個男孩，正要他給娃取個名字。
云韶好像是專門生男的，這已是第三個了！
“名字？而今朝中奸屏斥一空，乾坤清朗，光芒萬丈，就起名叫炅好了，字克明。”高岳如此回信道。
他想到，三個兒子一個女兒，怎么也算是家族豐茂了。
前往長安的路途當中，班宏忽然感了風寒，雖然病日漸沉重，可這位蕭國公的興致依舊高漲：他迫不及待地要重新主掌三司國計，并準備營救徐粲，并對張滂實施報復。