“李公，你可認識王義方？”
李義府心里一驚，王義方他當然是清楚了，這是個犟驢一般的腐儒，雖是天下有名的大儒經師，但做官就不行了，腦子一根筋，有一件事可以證明他的迂腐。
王義方拜侍御史，六品京官，便在京置辦宅院，買了一座宅子，錢款付清，幾天后卻指著院中的兩棵大樹說，我忘記付樹的錢了，然后讓家人去找那前主要補上樹錢。
朋友們都說，宅院出售，自然是連宅中的樹一起賣的，沒有單賣的道理。結果王義方卻非說，這么好的樹，怎么能跟一般的宅中樹一樣呢，這肯定是得另算錢的，趕緊補上。
此事后來在京師引為笑談，都說王義方就是讀書讀傻了。
王義方后來也確實最高只當了這侍御史，而且總共只當了十六天，且正是因為彈劾李義府逼殺六品大理寺丞，以掩蓋他將大理寺美貌女犯納為妾侍一事。
李義府訕訕道，“王義方先前抵毀大臣、言辭不遜，被貶為萊州司戶了。”
“王義方可是當代名儒，士林之中素有名望的。”秦瑯道。
“秦公可是賞識他？若如此，我愿意與他盡釋前嫌。”李義府道。
秦瑯此時說起他，也是因為來濟先前跟他提過王義方。來濟的學生盧照鄰少年時曾拜王義方為師學經，深為老師的冤屈不公，便找機會跟來濟說了此事。來濟了解了一下，然后告訴了秦瑯。
王義方自幼喪父，飽讀詩書，通曉四書五經，為飽學之士，少孤貧，侍奉母親非常恭敬，是有名的大孝子。
后來入京參加科舉，中途遇見一個徒步趕路的人，說是聽說父親在外任職病亡，于是趕路前往，王義方聽了立馬把自己的馬讓給了他，甚至做了好事還不留名。
入京后，他不肯跟其它學生一樣去拜謁公卿貴族，憑真本事考中明經，恰當初那位路上受他贈馬的人回到京師，認出他來，于是到處替他宣揚。
京師人人稱贊。
連圣祖皇帝都聽說了有這么一個新科明經才子，飽學有才，且很有素心，又還能助人，于是欽授他為晉王府參軍。
宰相魏征非常喜歡王義方的為人，并欣賞這個老鄉的才學，于是主動提出把妻子裴氏的娘家侄女嫁給他，但王義方卻一口拒絕了，理由是魏征是宰相，他不想攀駙宰相，趨附權貴。
后來魏征去世后，卻又主動上門求婚，娶了裴氏。別人問他為什么，他說魏公如今已經去世了，我要繼承他的遺志，實現他生前弘揚儒家、勸語君王的意愿，以報答他的知遇之恩。
王義方也因不肯攀附權貴所以仕途并不順暢，到貞觀末年也不過是弘文館的綠袍小官。
結果還因為貞觀末年對魏王黨的清算，被人舉報他曾經跟張亮交好，因此三十一歲的他受牽連貶到了海南島為吉安縣丞。當時的海南島那是蠻荒之地，吉安縣在后世時名字都是昌江黎族自治縣。
他到任后卻召集各峒首領商議，創辦學校，挑選子弟，親自講經傳學，教授禮樂，一時讓那個蠻荒也登降有序人人悅順。
三年后，因教化蠻荒有功，王義方調任河北洹水縣丞。當時張亮有個侄子叫張皎，配流在崖州，來依義方而卒，臨終托以妻子及致尸還鄉。返回中原時，王義方使奴負柩，令皎妻抱其赤子，乘義方之馬，身獨步從而還。