他曾秘密到浙江奉化，去拜望当时“下野”在家的蒋介石，在蒋面前买好，以取得蒋的支持，在国民党中央政府中图谋位置；他还数度拜见美国驻南京大使司徒雷登，期望得到美国的支持；他多次接见“立法委员”和中外记者，吹嘘死守太原的高招和收拾残局的意见，并想创办报纸，作为他自己的舆论阵地。南京解放后，国民党政府迁往广州，阎锡山到广州后，就和CC分子联合发起，成立所谓“反共救国大同盟”，并担任主席，狂妄地提出了“集中全民力量，坚持反共战斗”的口号，网罗各派系的残余。自以为通过这个组织，还能得到地方势力的拥戴，把广州建成“第二个太原”。也正是在蒋介石的暗中支持和CC派的摇旗呐喊声中，阎锡山于1949年6月担任了国民党政府的行政院长兼国防部长。对于此时此地出任这个“高官”，阎的部下颇有不同看法。一种认为：入阁拜相，位极人臣，统率百官之职，哪有不就之理？另一种认为，自己手无寸铁，凡事都要看人脸色，仰人鼻息，挤在蒋介石和李宗仁的夹缝中，做也难为。阎锡山自己则表示：“我这内阁，犹如请来的大夫，只要开出对症的药方，就算尽到责任。至于病人是否肯依方服药，那就不是我这大夫能过问的了。”虽然表示的是“勉为其难”的态度，但为了显示自己反共的决心和不平凡的才学，不几日后，他就提出一个“扭转时局方案”：政治上要转乱为治，转危为安；军事上要转败为胜，转守为攻；政府机关要整饬吏治，提高威信，提倡廉洁奉公，勤俭节约；经济上要改革货币，抑制物价，安定国民生活；还要加强政治教育，澄清国民思想，摆脱共产诱惑，团结反共致胜，等等。规定后方省份都要成立“反共救国军总司令部”，由省主席兼任总司令，加强各地的反共行动；又与蒋介石、李宗仁等联名，借“纪念七七抗战”之名，发表“反共救国宣言”；以行政院的名义，颁布所谓“反共公约”，规定五家连坐，强制民众作他们反共的炮灰；国民党临时成立的决策机构，还通过了阎锡山提出的“反共救国方案”。从组阁之日起，阎锡山就大开空头支票，前后共制定《扭转时局总案》等方案，总计阎阁文案达100万字以上。直到1949年10月中旬，中华人民共和国已经宣告成立之后，阎锡山被迫逃往重庆，仍然企图在四川推行什么“总体战”，制订什么“军政一体化”的作战方案；逃到成都后，阎锡山还亲自兼任国民党政府教育部成立的“反共救国战斗团”的团长。短短的几个月内，阎锡山如丧家之犬，明知不可而为之，足见其反共的狂热和逆历史潮流而动的顽固都非同一般。对于阎锡山这一段拼上老命的奋斗和努力，蒋介石曾给予很高的评价。到台湾后，蒋在第一届国民大会第二次会议的报告中说：“自三十八年底及三十九年初，赤焰滔天，挽救无术，人心迷惘，莫可究极，……其土崩瓦解之形成。……当此之时，中央政府幸有阎院长苦心孤诣，撑持危局，由重庆迁成都，复由成都迁台湾，继续至当年三月为止，政府统绪，赖以不坠者，阎院长之功实不可泯。”
1950年2月8日，阎锡山由成都乘飞机到了台湾。3月，蒋介石又粉墨登场，在台湾做起总统来。此时，国民党的要员纷纷出面，对内阁在重庆、成都时的种种举措提出指责，甚至恶意攻击。阎锡山的处境甚至得到了“国际友人”的同情，说：“军中的悍将，政中的流氓，社会上的土棍，无人替你制服，你难免受他们的侮辱。”阎锡山忍气吞声之余，也终于明白，即使自以为反共到底，拼了老命，也还是难以得到蒋介石的认同。于是便以“中枢有主”为辞，向蒋递交了“辞呈”。蒋介石立即通知“立法院”开会讨论，很快便予以批准，并通过行政院长由陈诚继任。七、八个月的行政院长做完了，阎锡山的政治生命也就到此彻底结束。阎在台湾，还念念不忘他所器重的所谓“五百完人”，通过行政院拨款新台币20万，在台北北园山建立了“太原五百完人成仁招魂冢”。蒋介石还特意题字曰“民族正气”，蒋经国则题赠“齐烈流芳”的匾额。阎锡山题写的是“先我而死”，并亲自撰写了一首“太原五百完人歌”，其歌曰：“民族有正气，太原出完人；海天万里招忠魂，歌声悲壮动三晋。何以为完人？生而能杀贼，死而不留身，大节凛然表群伦。谁能为完人？男学梁敦厚，女学阎慧卿，死事壮烈泣鬼神。赴汤蹈火全忠贞，救国救民重死生；五百完人齐尽节，太原今日有田横。民族有正气，太原出完人；日月光华耀国门，万古流芳美名存。”由于阎锡山的竭力鼓吹，蒋介石的大力支持，所谓“太原五百完人”在台湾产生了很大影响。这既显现了阎锡山善于造声势、造舆论的能力，也曲折地表示出他对生他养他的故地有一缕难断之情。
离职前，“行政院”的手下人，为阎锡山举行了一个小型的茶话会。会上，有人引用了老子《道德经》中的两句话，送给阎锡山作为安慰。这两句话是：绝圣弃知，大盗乃止。阎锡山由此发了一通感慨说：“无珠宝而不争珠宝，不是不争，是无所争；有珠