呂浩死后，由其子呂良繼任，呂良娶當地豪族黃氏女為妻，地位更加穩固，呂氏家族越發興盛。
永壽元年155年，黃氏因懷胎十四月未曾生產，令家仆到郡郊白馬寺求簽問卜，方丈卜卦后大驚，不曾解釋，只是急令呂氏家仆離去。
黃氏正在織布，聞聽仆從回報，正疑惑間，忽見東南方天空有九色彩虹出現，光彩奪目，而后化為一只彩鳳直撲而下，黃氏吃驚跌倒，腹痛難忍，旋即產一男嬰于布上。
呂良聞之大喜，為兒子取名為“布”，又取字“鳳仙”。
呂布三歲能騎羊，五歲能上馬，七歲時便敢獨自入林中狩獵，并捉拿野狐山鹿而歸，九歲時隨母拜見外公時，見羊群意外逃散，便徒步追趕，一手一只，往復數次，將羊群盡數捉回，外公大贊，贈予呂布一匹赤紅大宛馬，呂布甚喜，為其取名“紅云”，悉心照料，幾不離身。
年歲稍長后，不滿其字“鳳仙”，自行改為“奉先”。
至建寧元年166年，呂布十一歲時，身材已近普通成年男子，時值北匈奴再次入寇，呂良與南縣軍校尉丁原共同出兵抵御，呂布亦隨軍而行。
丁原為人桀驁，與諸多同僚下屬皆不睦，所以幾乎沒有屬下可以指揮，凡戰便一馬當先沖入敵陣，被評價為“雖有將勇，卻無帥才”。
某日，丁原因追敵過于深入而被匈奴設伏團團圍困，呂良率軍欲救，然而匈奴勢大又有地利，一時救之不得。
呂布觀察戰場后，向呂良討要五百騎兵，請他率大軍在前方誘敵，自己則繞遠路攻擊匈奴后軍，陣斬匈奴大將，丁原之圍遂解。
丁原十分感激，欲為呂布請賞封官，被呂良告知呂布年方十一時，震驚莫名。
至建寧五年170年，“第二次黨錮之亂”結束后，靈帝開始逐步恢復皇室權威，但各地方近兩年因為洛陽陷入混亂而致使政令不通，并造成了皇室威嚴下降，各地，尤其是邊境轉而啟用一些傳統的選拔手段，想要完全恢復絕非一朝一夕之事。
此時并州，與其他邊境同樣是文人少有，遍地的情況，稍有才學者，只需與官府文吏交談數句，便能得到官職，而自持勇力者，則必須闖一闖官府設立的“武舉”，能獨占鰲頭的話，才有希望在軍中當個軍頭，否則，投軍后就只能做個小兵。
這日，并州治所，太原郊外的校場被圍觀人群擠得水泄不通，周邊諸多郡縣武職長官都有到場觀看，原因無他呂布今年十六，欲參加并州武舉。
原本來說，以呂布數年掃賊抗胡之名，便是呂良在五原郡為他直接安排一個武職也無人會有微詞，然而呂布至太原參與州舉，便意味著他不愿僅僅在其父手下做事，或者說，他對于官職的志向還在呂良之上。
“吾乃五原呂布何人敢來與吾一戰”身著短打，僅著輕盔的呂布跳上演武臺，大聲喝道“若無人能擊敗我，這武舉第一便由我收入囊中了”
一眾官吏聞之，面面相覷。
這武舉有賽馬、射箭等檢驗本身實力的諸多項目，那“技擊擂臺”反而不怎么重要，但此時呂布已經跳將上去，并發布了小視群豪的大言，以并州尚武好斗的民風，此時再阻止為時已晚。
“真是囂張”“竟敢小瞧我等”“莫非你還能獨自將我們全部打敗不成”“就算你是呂布，說出這種話來也別想豎著離開了”
呂布的名聲原本僅限于五原周邊，即使其他郡縣聽說他很能打，也不會太過放在心上并州誰不能打聽聞這等宣言，立刻紛紛鼓噪。
當下立刻有一名身著輕甲的武者跳上擂臺“我乃上黨”
啪未等他將話說完，呂布隨意從旁邊的兵器架上取下一柄木槍，信手一揮，槍尾甩出，抽在那上黨無名氏身上，將他直直打飛出擂臺。
因為是比試考較，官府準備的所有武器皆不曾開刃，鈍器的分量也嚴重削減，但那上黨某人被一棍抽飛后，仍然直接昏了過去，而后被校場醫官抬走。