宇文泰讨平关西的同时，高欢可也没闲着。
四月中开始，高欢便令自东、南几个方向同时进攻晋地，奈何尔朱兆与慕容绍宗守得严实，屡攻不利。到七月里时，天气蹭蹭上冒，热得实在不像话，军士叫苦不迭，高欢只得暂退。
消停了月余，高欢在邺城大造声势，说要即刻再攻晋地，弄得尔朱兆好是一番紧张，亲赴前线督战。结果尔朱兆巴巴等了半个月，鬼影子也没撞见一个，气得他破口大骂。
尔朱兆便率部回去晋阳，到了汾阳王府，屁股还没坐热，邺城的线报送至，又说高欢将要出兵。尔朱兆不敢怠慢，兵不卸甲，复又一个来回，到了发现，原来依旧是则假消息。
如是者四。
尔朱兆苦不堪言，把高欢十八代祖宗一发问候了个遍，自此躲在晋阳不肯再出。慕容绍宗一次前来晋阳时，提醒尔朱兆还是要多加警惕，却被尔朱兆一顿臭骂，怏怏而去。
高欢虚张声势疲敝尔朱兆的同时，又亲自操刀，施以分化之策。河北的细作、间客不断渗入晋地，许多晋地军将、政要皆为收买，一时间弹劾慕容绍宗在晋南拥兵自重的奏书不绝。
尔朱兆渐渐生疑，又因高欢长久不攻，他心中实已懈怠下来，本就觉着晋南之地用不着这许多兵马驻防，徒费钱粮。于是乎，尔朱兆假称北部空虚，令慕容绍宗分兵来援，借以试探。慕容绍宗果然以“南部防备尚且不足，不可分兵”为由，严辞拒绝。
尔朱兆大怒，当场下令撸去慕容绍宗的都督晋南诸军事，不久又把慕容绍宗远远赶去西河郡（大抵今吕梁市一带），当个小小的郡都尉。
高欢说是虚张声势，实则兵马辎重全在暗暗准备。十一月里，万事俱备，遂赶在第一场冬雪降临之前，突然发动总攻。
诸军齐出，浩浩十数万。入晋陉隘，无论大小，皆令猛攻不歇。
尔朱兆兵马早为懈怠，猝不及防之下，既嫌力有不逮，又恨顾此失彼，于是各处防线先后失守。十一月底，高欢大军诸路并进，齐入山西。
尔朱兆魂飞魄散，乃令大肆劫掠晋阳城，掳着财货北逃秀容川去了。
高欢遂得晋阳。
此番再来，高欢身份地位乃至心境早与往时大相径庭，乃悠悠然然，将晋阳城及周遭逛了个遍。登高望远，不由得赞不绝口：“山川形胜，更皆高屋建瓴，河北河洛尽在脚下。。。啧啧，此真帝王之资也！”
当下高欢动了心思，令各路兵马恪守军纪、秋毫无犯，又发放粮帛、赈济民众。晋阳士民苦尔朱氏久矣，不久前又为尔朱兆抢个精光，正愁日子没着落，这时忽得高欢好处，顿然感激涕零，全为归心。
高欢即令平毁尔朱兆的汾阳王府，取其土木建材，扩建故太原王府，以此为大丞相府，不归邺城。自此之后，天下政令皆由晋阳所出。