之后的時間里，李杰便在白沙村住下了，除了歲考回去了一趟，因為想要參加鄉試，必須要在各省提學官舉行的歲考中，成績名列前兩等者，才能參加鄉試。剩下的其余時間李杰均在春陽臺或制藝或習武，不論是在制藝一道，還是在武學一道都是受益良多。
白沙先生會試雖然屢試不中，不過這個可不是他的制藝水平不行，主要還是當朝程朱理學根深蒂固，陳獻章對外表現出來的思想儼然不是這個路子，他的“崇自然”“貴知疑”“貴自得”的思想，不受當權者所重。
當時吏部侍郎尹旻（“紙糊三閣老、泥塑六尚書”中的吏部尚書）因為白沙先生的一句暗諷詩句，懷恨在心，其子拜師又被拒絕，便從中作梗，讓陳獻章的試卷沾上污漬，便被罷黜了。
在四十二歲參加完第三次會試仍不得中，之后便熄了科考的心思，隱于鄉里一心治學。除了成化十八年那次，經廣東左布政使彭韶和都御使朱英舉薦入京候官，結果三個月后，因老母思子心切，遂匆匆而歸，自后屢薦不起。
晚年間他更是一心為他人做嫁衣，傳授學問于徒弟，感于其德學之高，四方慕名前來求著者日益眾，“往來東西兩藩部使以及藩王島夷宣慰，無不致禮于先生之廬”，盛極一時，對于這些賓客學者，陳獻章有教無類，誨人不倦。史料記載：“至于浮屠羽士、商農仆賤來謁者，先生悉傾意接之，有叩無不告”。
隨著陳獻章的學生屢有高中，名聲更是日益高漲，被人稱為“醇儒”，成化十八年那次赴京應薦，途徑廣州時，城內士子慕名而來，“由城南至藩臺，觀者數千萬人，圖其貌者以百數十計”。入京之后，公卿大夫日造其門數百，有人說道圣人復出。
這天李杰放學回到租住的小院，看到方儀神色欣喜異常，遂問道：“怎么，今天發生什么事情這么開心？”
看到李杰回來之后，方儀眼神一亮開心的說道：“我見到我阿哥了！”
李杰擔心方儀受騙，開口說道“你之前不是說沒有親人了嗎？這個哥哥是從哪里冒出來的？”
“不是，不是，之前我哥自從五年前外出之后，一直杳無音訊，我們全家都以為他已經遭遇不幸了，所以我之前說沒有親人了，誰曾想到現在還能再見到他。”說著臉上又帶上欲言又止的神色。
李杰見狀問道：“這是好事啊！怎么還有什么別的事情嗎？”
方儀臉上神情變幻，片刻后咬了咬牙說道：“公子，你先答應我不生氣，我便和你說。”
李杰笑著點了點頭。
隨后方儀喊道：“哥，你出來吧。”
只見房內走出一個年約二十許的青年，來人身著一套藍色勁裝，背負長劍，劍眉星目，李杰越瞧越覺得眼熟。