他治下的地盘，苛捐杂税繁重，却也维持着一种畸形的、高压下的秩序。那时的吴镇岳，意气风发，挥斥方遒，视人命如草芥，视权力为禁脔。他书房里那幅如今已蒙尘的《北洋直系势力图》，曾是他指点江山、睥睨天下的疆场。
然而，军阀的辉煌如同沙上堡垒。1924年，第二次直奉战争爆发。吴镇岳作为直系主力，率部在山海关一线与张作霖的奉军激战。起初势如破竹，但冯玉祥临阵倒戈，发动“北京政变”，抄了直系后路。吴镇岳腹背受敌，兵败如山倒。他本人也在混战中身负重伤，险些丧命，最后仅率少数亲信狼狈逃回关内。
山海关的惨败，是吴镇岳人生的分水岭。昔日的“镇威将军”成了丧家之犬，地盘尽失，军队瓦解，昔日依附者纷纷作鸟兽散。他带着一身伤病和满腔的愤懑不甘，蛰伏于北平什锦花园这座深宅。