从丰县的土地神，到咸阳的黑帝祠，可见刘邦的信仰是非常杂乱和率性的，只要是神就祭。后来，加上黄老方士们的推波助澜，汉廷把梁、楚、晋、秦等地的“巫”聚在一起，每个“巫”负责祭祀本地的神，为黄河、南山和天上的星宿也建立祭坛，经年累月，汉廷的各色国家祭祠里就罗列着蚩尤、后稷、东君、云中君、司命、河神、五帝、黄帝、八神、玉女、房中、堂上 11 等各种不搭界的神祇，甚至还有秦二世、李延年等人！这很像当年古罗马帝国在皈依基督教之前征服各地，并不会把当地的神祇消灭掉，而是都纳入罗马的“万神”之中。
汉朝皇室也搞了类似的万神庙，只不过没有万神。汉文帝在保留“雍五畤”的同时，在渭阳搞了“五帝庙”，把五帝合在一起祭祀。汉武帝又在甘泉建立了“泰畤”，“泰”就是“太”，“泰畤”是在五帝之上搞了一个“太一神”，相当于天神，在“泰畤”祭天；祭了天就得祀地呀，汉武帝又在出土宝鼎的汾阴建立了“后土祠”。
总之，到了这个时候，皇室终于从无神不祭逐渐养成了以“雍五畤”“渭阳五帝”和“甘泉泰畤太一”“汾阴后土”四类为主的皇家祭祀习惯，显然，这一习惯延续了秦朝旧仪。此外，刘邦以来各地所建立的稀奇古怪的祭祀，大概仍在运转，汉成帝时全国这类祭祠有683所。
在儒家眼里，这些祭祀混乱、淫滥，夹杂着暴秦的礼仪和黄老的荒诞，既不尊重天，也不尊重地，还不尊重汉家。因此最好彻底清除，另立郊祀之仪。
汉成帝时，皇家宗庙的改制已经差不多了，郊祀的变革就被提上日程。
主持这件事的是有名的匡衡。据说他小时候家里穷，从隔壁“凿壁借光”读儒经 12 。现在，他已经成为汉成帝刘骜的丞相、乐安侯、当朝儒宗、《诗经》“学术权威”。在匡衡看来，汉家以往的郊祀全都是错的，按照儒经特别是他所传的后苍礼学的观点，天子郊祀要在长安的南郊祭天，北郊祭地。
甘泉泰畤距长安百里以上，汾阴后土祠距长安约四百里，雍则是秦国旧都，都不属于长安的南北郊，而且三地路途艰险，天子每去一次，跋山涉水不安全，还耗费人力物力。
匡衡的上奏在汉廷引发了两种不同意见，反对的意见来自皇后的父亲、大司马许嘉，他们认为原来的郊祀是汉家旧制，体现的是祖宗之法，“汉家制度 ”不可轻易变革；支持的意见来自其他儒臣。
这倒是体现了汉宣帝当时以外戚为内臣，拱卫汉家传统，对抗外朝儒臣的意图。
不过，刘骜和父亲汉元帝一样，笃信儒学，支持匡衡。诏令一下，从刘邦延续至此长达两百年的郊祀体系一朝瓦解，悉数废除，新的“南北郊”祭祀建立起来。
与宗庙改制不同，匡衡对郊祀与其说是改制，不如说是推倒重来。在许多皇室成员看来，把刘邦亲手确立的祭祀毫不留情地废除，是王道彻底压倒霸道的做法。先不说匡衡的做法是否有道理，如此不尊重先王旧典，意味着皇室统治的合法性将不再来自先王的征服和功德，而是由儒家说了算。
说来讽刺，没过多久，匡衡因为贪占封国领土和租税被告发，免为庶人。讲了一辈子儒经大义的丞相居然因为蝇头小利而丢了官爵，此事想必在汉廷引起了不小震动。与此同时，突如其来的一场大风吹坏了甘泉泰畤附近的竹宫。灾异的出现和匡衡的倒台，令郊祀变革失去了支持。
而且，刘骜当初同意变革，还有个难言之隐，就是没有子嗣，他想通过郊祀变革来感动天地，生个儿子。但变革之后他还是没有子嗣。此时，又一位儒家经师刘向对刘骜进言：雍五畤、甘泉、汾阴等祭坛刚建立时“皆有神祇感应 ”，所以祥瑞非常多，“高祖时五来，文帝二十六来，武帝七十五来，宣帝二十五年，初元元年以来亦二十来” ，这足以说明旧的祭祀是很有效的。
而且刘向也赞同当年和匡衡争辩时许嘉的意见：汉朝的郊祀宗庙等礼仪，都是当初祖宗和贤臣一同定下来的，随便议论都是大罪，更别说取消了。
都是儒臣，何以刘向要反对匡衡呢？
因为刘向是皇室成员，是汉初楚元王刘交的后代；而且刘向世传鲁学师法，是当年帮助刚即位的汉武帝进行改制的鲁申培的徒孙，与匡衡所传的齐学并不一样。在刘向看来，汉朝“久旷大仪 ” 13 ，制礼作乐要兼容汉道和儒道。
由此可见，学术派别和身份都有可能影响人的立场，在历史上很难找到壁垒分明立场不变的所谓“儒家集团”“外戚集团”等，每个人都有自己的想法和利益，每个历史事件都具有相当程度的偶然性。
不久，王政君下诏，恢复雍、甘泉、汾阴三处祭祀，废止“南北郊”。