在台湾，阎锡山以“总统府资政”及“国民党中央评议委员”的身份，长期隐居于台北市阳明山菁山草庐。虽然口头声称与世无争了，其实仍然丢不下放不开的他的反共理想，也丢不下放不开他曾经为之付出大半生心血的故乡山西。有人作《菁山草庐纪略》，记述和描写了阎锡山在台湾的日子。文中说：“菁山系台北市北郊阳明山的一部份，位于山仔后之东。……一九五0年三月十五日，阎伯川先生卸任行政院长，九月迁入菁山草庐，即士林公馆里九邻八十一号。其地系日据时代之茶园，时已荒废。阎先生于此建屋，茅草代瓦，竹泥为墙，无电灯、电话、自来水，石子道路，极其坎坷；生活条件，十分简朴。来客甚稀，无都中之烦扰，适于专心致志，从事著述。住未久，蒋先生夫妇来访后，命国防部整修道路，架设电话。民航空运公司陈纳德及夫人陈香梅来访后，赠一小型发电机。为节省汽油甚少使用，以蜡烛照明数年，始有电灯。台湾七、八月间不断有台风来袭，强风屋塌墙倒，拔树断路，茅屋一年间屡坏屡修，亦不安全，遂于地势稍低依山背风处建水泥钢筋顶之窑洞五孔，就地取材以石为墙，命名为‘种能洞’。‘种能’是指宇宙本体演变成物及人的根本。……（有客来时），阎先生谈论主旨，一为人应当怎样，包括人在宇宙中的地位、人的责任；二为如何挽救人类核子毁灭的危机，取各种主义之长，舍各种主义之短，建立永久安和的世界大同；三为如何建设富强文明长治久安的新中国。……先生每日起床后，散步早餐，八至十二时写作，与客会谈。午餐后，休息，下午二时至五时写作，五至六时听报告重要新闻论文及书籍杂志之要闻。六时晚餐，散步，七至九时写作，十时就寝。饭食较清素，有若‘寄身京华久，醇朴犹老农’。”作者的笔端，流露出隐隐的同情和不平。与先前的铺排豪华相比，日子确实过得有点儿寒碜。阎锡山自然明白，虽然蒋介石对他客气有加，但并没有将他当成自己人对待。试想，蒋的高官们哪一个会住到此等荒凉所在？对于与蒋几十年中的恩恩怨怨，他心里清楚，因此也有自知之明，不去自讨无趣。到台湾后不久，各界就已纷纷议论，蒋介石将来要把“总统”传给儿子蒋经国。阎锡山对此有自己的看法，他借评论古人，发表意见说：“中国数千年来政治经济上的病根，在家天下政权私有。”他认为，废除井田而土地私有，将传贤制度改为传子，就是把给人类带来幸福的措施变为使人类悲惨的谬误。议论声传到蒋介石的耳中，蒋让人转告说：请少发些空泛议论。
在这种政治上被冷冻，生活上遭贬斥的情况下，阎锡山没有像有些高官那样，转到国外当寓公，也没有像有些不得志的高官那样，皈依宗教求解脱。他安居草庐，避在世外，不看电影，不看戏，不吸烟，不饮酒，不赌博，也不参加诸如剪彩、证婚之类的应酬，认认真真地做起了学问。用一辈子挥刀舞枪、拨拉算盘的手，兢兢业业地开始了艰苦的写作。他深有感触地说：“言语道断，心思路绝，乃可语学问修养。”殚精竭虑，惨淡经营，奋斗一生之后，落到一无所有的下场。这种人生境地的大起大落，可使人心灰意冷，也能让人旷达超脱。应当说，阎锡山没有被命运整得唐颓不已，他是要努力超脱的。他钻到“反共”学说的研究中，为自己的失败寻求难以验证的辩解；钻到儒家文化去寻求心理的慰籍和平衡。有评论说：“阎锡山好学深思，晚年对于反共之道，有若干深入独到的见解，不流于空泛；对儒佛之学，虽然未至一旦豁然贯通的境域，但有若干尽情合理的名言，确超过一般平凡的思虑。”这种说法，值得欣赏和玩味。
他先后写作并出版了先后出版了《世界和平与世界大战》、《孔子学说》、《世界大同》、《大同之路》、《共产主义的哲学，共产主义共产党的错误》、《反共的哲学基础》、《收复大陆与土地问题》，《反共复国的前途》、《三百年的中国》等著作二十多部，还雄心勃勃地制订了研读二十五史和十三经的计划。1959年，当香港《真报》记者采访他，谈到重返大陆的问题时，77岁的阎锡山仍然大发议论：“一旦如能配合国际局势，王师跨海北进，直捣黄龙，毫无问题。诸位别看阎锡山已经老态了，真个反攻号响，看吧，我还是要请求率领健儿再打几个胜仗给国人看看，我有信心。生从太原来，我这把老骨头仍将活着回太原去。”对于已经输尽了资本，逃到台湾在苦闷和抑郁中度过孤寂岁月的老人而言，反攻大陆与其说是一种空洞美妙的梦想，不如说是丢不开割不断的对故土的思念。岁月无情，山河无望，他这番活着回太原的豪言壮语只能是空洞的梦呓了。