大統十六年，高歡之子高洋篡位稱帝，建立北齊，宇文泰出兵征討，任命于謹為后軍大都督。
另封他的一個兒子為鹽亭縣侯，食邑一千戶．西魏恭帝元年，任雍州刺史。
當初，南朝梁元帝蕭繹平定侯景之亂，在江陵繼位，秘密與北齊通使，打算侵犯西魏。
梁元帝兄長的兒子岳陽王蕭詧當時任雍業刺史，因為梁元帝殺死了蕭詧的哥哥蕭譽，雙方就結下怨仇。
蕭詧占據著襄陽前去歸附西魏，并請求西魏派兵支援。
西魏恭帝元年，西魏朝廷就命于謹率兵出征，宇文泰在青泥谷為他餞行。
于謹于是派中山公宇文護和大將軍楊忠等人，率領精銳騎兵先占據長江渡口，切斷梁人出逃的道路。
梁人在外城豎立木柵，周圍六十里。
不久于謹就到了，將軍隊全部調來把城圍起來。
“梁元帝多次派兵在城南出戰，立即就被于謹打敗。”
“圍了十六天，外城陷落。梁元帝退守子城。”
“第二天，梁元帝率領太子以下的臣民，反綁著手出城投降。”
“于謹俘虜了南梁男女十多萬人，收繳了府庫中的珍寶。”
“得到南朝宋的渾天儀、南梁的日晷銅表、曹魏的相風烏、銅蟠螭趺、直徑四尺周圍七尺的大玉和那些輿輦法物都帶回獻上，軍隊沒有私占財物。”
“立蕭詧為梁國皇帝，整頓部隊凱旋而歸。”
““宇文泰親自到他的第宅，和于謹飲宴笑談極為歡洽。”
“賞賜于謹奴婢一千口，還有南梁的寶物，以及金石絲竹樂一部，另外加封新野郡公，食邑二千戶。”
“于謹堅決推辭，宇文泰不準許。”
“叉命樂官作了十首《常山公平梁歌》，叫樂工歌唱。”
“于謹自認為長期掌握權勢，地位聲望隆重，功名既已建立，情愿保住悠閑的生活，就把他所乘的駿馬和所穿的銷甲等獻上。”
“西魏恭帝三年正月，六官制度建立，于謹任大司徒。”
“西魏恭帝三年十月，宇文泰去世，宇文泰世子宇文覺還幼小，中山公宇文護雖然接受了宇文泰的臨終遺托。”
“但名望地位向來低下，各位王公大臣們都圖謀執掌朝政，沒有誰肯順服他。”
“宇文護很是擔憂，私下找于謹請教。”
“王公大臣們受到于謹的逼迫，也跟著跪拜了兩次，因此大家的意見才確定下來。”
“北周孝閔帝元年，宇文護擁立宇文覺為帝，建立北周，史稱孝閔帝，于謹被進封為燕國公，食邑一萬戶。”
“升任太傅、大宗伯，和李弼、侯莫陳崇等人參議朝政。”
“到賀蘭祥討伐吐谷渾時，于謹遙領軍隊，教授策略。”
“保定二年，于謹因年老，上表請求辭去官職。”
“周武帝前往大學為他饋食。三老入門，周武帝在大門和屏風之間迎拜，三老回拜。”
“有關官員在中楹設置三老的席位，面向南方。”