正当直奉两军在山海关附近激战时，冯玉祥由古北口秘密回师，于10月23日发动“北京政变”，占领北京城，囚禁了曹锟，迫使曹锟下令停战，免去吴佩孚的职务。冯玉祥将自己的部队改称“中华民国国民军”，邀请孙中山先生北上共商国事。而这时，奉系则主张请段琪瑞出山。阎锡山没有忘记段琪瑞对自己的恩情，很快致电冯玉祥，表示要推戴段琪瑞复出。
局势已经明朗，阎锡山便不肯再模棱两可，决定正式出兵，联奉拥段倒直。10月28日，阎锡山任命第二师师长孔繁尉为左翼总指挥，率三、四、五、七四个旅向石家庄进军。计划拦腰截断京汉路，阻止直系的援军从河南、湖北开往北京。这是山西军队首次以重兵开出娘子关，也标志着阎锡山从此正式加入了逐鹿中原的枭雄行列。晋军于11月1日便进据石家庄。
石家庄为兵家必争之地，直系在河南、湖北的军队还扬言要北上。石家庄面临着一场激烈的厮杀，阎锡山担心孔繁尉力不能胜，又派张培梅接任左翼总指挥。张培梅是阎锡山的学生，为阎锡山担任大都督出过大力，深得阎的信任。张本人性格刚直，敢做敢为，此次能到石家庄前线任总指挥，以为是大有作为大显身手的机会。虽然阎锡山反复交代，晋军此次出兵的目的，以虚张声势为主，使南边的直军望而生畏，不敢北上，能应付段琪瑞和张作霖就行了，万万不可损兵折将。如果损兵，虽胜不取。但张培梅还是想做出个样子来，让世人不敢小看，因此，在零下十多度的严寒中，亲率卫队露营野宿，并命令五旅、七旅二部也下车野宿，迅速修筑防御工事。不料，七旅旅长龚凤山行前曾得到阎锡山以保存实力为主的密令，而五旅旅长刘树藩又以为龚凤山是阎的亲信，处处看着他的作为行事，因此，二人认为张培梅是小题大作，自找苦吃，对张培梅的命令敷衍了事。张培梅因此十分恼怒，决定召开军事会议，严惩抗拒军令者。龚凤山和刘树藩又找借口只派参谋长出席，于是张培梅更加忿恨，触动杀机，命令将二人就地正法，并且枭首示众。辛亥革命后已经取消了杀头的刑法，随军没有刽子手，执刀者也没有经验，连续砍过几刀，才把人头砍下，把血肉模胡的人头挂在营门示众。这一下，把其它军官都吓得失魂落魄，再没人敢对张培梅的命令有一丝怠慢。
晋军两个旅长被砍头的消息传回太原，阎锡山十分惊骇，怒气冲冲地说：“鹤峰（张培梅的字）如此胡闹，擅杀团长，形成独立，石家庄人心恐惶，不能不即时出动镇压！”当即命令另一亲信杨爱源做好准备，要亲自出马问罪。幸亏号称晋军“诸葛”的南桂馨出面调停，劝阎锡山不要操之过急，又亲自到石家庄前线去观察动态，并劝张培梅自请处分，以释众疑，才将这场风波平息下去。
石家庄被晋军卡住，山东又宣告中立，津浦、京汉两路援军都无法接应，直系大势已去。11月2日，曹锟辞去大总统，吴佩孚接着也宣布下野，第二次直奉战争以直系失败告终。阎锡山这次走出山西伸手中原，顺利地成为胜家，顿感自己说话腰杆儿硬了起来。他积极推戴段琪瑞再次执政，以便自己在中央政府有个大靠山，于是联络西北军阀马福祥等人，抬高自己的身价，俨然以西北各省的首领自居，与奉系张作霖南北呼应，为段琪瑞出山鼓噪呐喊。
1924年11月24日，张作霖和冯玉祥在北京宣告成立“中华民国临时执政府”，推出段琪瑞就任“临时执政”。眼看实现了自己的心愿，阎锡山很是满意。但段琪瑞虽然名为“执政”，却因实力不足而腰杆不直，说话不灵，事事处处需仰人鼻息。段琪瑞便施展手段，让冯、张互相牵制，并企图借阎锡山之力，联络西北各省军阀，形成第三势力。阎锡山积极配合，也知道这是自己出头的机会，但他明白，在军阀混战时期，弱肉强食，大鱼吃小鱼，最重要的是加强自己的实力。他对部下说：“咱们要赶紧充实力量。自己力量不够，哪一方胜利了，也没有咱们的好处。”于是，趁着得胜的时机，山西再次抓紧时间扩军。兵力增加一倍，达到了4万人的规模。阎锡山踌躇满志地表示，不仅要“保境安民”，而且要在逐鹿中原的混战中“唯力是视”。
在掌得中央政府的实权之后，冯玉祥的国民军势力迅速膨胀。北京，察哈尔，绥远，河北，河南，陕西等省都成为势力范围，山西被包围在中间成为孤岛。形势很快又变得对阎锡山甚为不利。曾受阎锡山排挤而被迫离开山西的反阎派续桐溪，这时就积极筹划进行倒阎活动。续桐溪是辛亥革命时期晋北公团的领袖人物，对辛亥革命在山西的胜利，作出过不小贡献。民国之后，续在山西警察道任职，与阎锡山交往相当密切。后因对阎锡山投靠袁世凯十分不满，多次当面予以讥讽，阎锡山将其视为异己。有一次，军警与商绅闹起冲突，阎趁机