北魏太和十七年，于謹出生，河南洛陽人。
少年時代的他性情深沉，頗有見識，而且度量過人。
喜好讀經史書籍，尤其愛好《孫子兵法》。
他早年隱居在鄉里，沒有做官出仕的志向。
“北魏正光四年，破六韓拔陵在北部邊境起事，引柔然作為應援，大行臺仆射元纂率軍討伐他。”
“元纂一向聽說過于謹的名聲，就征召他任鑒曹參軍事，讓他從軍北伐破六韓拔陵。”
“柔然聽說北魏軍逼近，就逃出邊塞。”
“元纂命于謹率兩千騎兵追趕柔然，追到郁對原，前后交戰十七次，把柔然的兵眾全都招降。”
“后來他率輕裝騎兵出塞窺視柔然軍，碰上鐵勒的幾千騎兵突然來到，于謹認為寡不敵眾，如要退軍必然走不脫。”
“于是分散他的騎兵，讓他們躲藏在草木叢生的地方，又派人登山指揮，好像布置兵馬的模樣。”
“鐵勒兵看見了，雖疑心有伏兵，但仗恃著人多勢眾，并不恐懼，就進兵逼近于謹。”
“于謹因為常常騎一匹紫色和一匹黑嘴黃色的駿馬，敵兵先前都認識，于謹就派兩個人各騎一匹，沖出敵陣而去。”
““敵兵以為是于謹，都爭著追趕。”
“于謹于是率領其余的人馬殺過去，追趕的騎兵就逃走了，于謹因此得以進入邊塞。”
“正光五年，行臺廣陽王元深出兵北伐，引薦于謹為長流參軍，對他特別禮遇。”
“所有的謀議，都和于謹商量。”
“元深還讓自己的兒子元佛陀拜見于謹，如此親密地對待他。于謹和元深打敗了敵軍首領斛律野谷祿等人。”
“當時已是北魏末年動亂時候，群盜蜂擁而起，于是派于謹前去招撫。”
“于謹同時懂得幾族的語言，就單騎進入敵軍當中，向他們宣示恩信。”
“于是西部鐵勒的酋長乜列河等人，率領三萬多戶人家一起歸附，相隨著往南遷徙。元深準備和于謹去折敦嶺迎接他們。”
“破六韓拔陵果然前來攔擊，在嶺上把乜列河打敗，乜列河的部眾都被他掠走。”
“于謹的伏兵沖出來，叛軍就此大敗，全部將乜列河的部眾收降過來。”
“孝明帝元詡嘉賞于謹，任命他為積射將軍。”
“孝昌二年，于謹又隨廣陽王元深征討鮮于修禮。”
“大軍停駐在白牛邏，正逢章武王元融被鮮于修禮殺害，于是將軍隊停駐在中山。”
“于謹詳細地訴說了元深的忠誠，并陳述了停駐軍隊的情況。”
“胡太后的怒意逐漸緩解，于是放了他。不久他被加授為別將。”
“當時，南朝梁將領曹義宗據守穰城，多次在北魏邊境侵擾。”
“孝明帝就命于謹和行臺尚書辛纂率兵征討。相持數年，經歷了幾十決戰斗。”
“于謹升任為都督、宣威將軍、冗從仆射。”
“武泰元年，孝莊帝元子攸即位，任命于謹為鎮遠將軍，不久改任直寢。”