偏偏殷景仁深得主上之心，更得加授中书令兼中护军。刘湛未得加官，但命兼任太子詹事，刘湛益加感到愤怒，与刘义康勾结，并且一起向朝廷进献谗言，诋毁殷景仁。宋主刘义隆始终不信，待遇殷景仁，反且更加深厚。
殷景仁亦是知道刘湛排斥自己，曾经对亲属旧友叹息，道：“引虎入室，便即噬人！”于是托疾辞职，累表不许，但令他在家养疴。
刘湛且尚不能平，拟令兵士诈为劫盗，夜时闯入殷景仁的私第，去刺杀殷景仁。阴谋尚未发作，偏有人传报宋主刘义隆，宋主义隆知道后，亟令殷景仁徙居在西掖门，使近宫禁，因此刘湛阴谋诡计不得顺利施行。宋主刘义隆既然知道刘湛的阴谋，何不立加穷治，乃使其连害骨肉耶？
嗣是刘义康的僚属，及刘湛相知的友人，潜相约勒，无敢入殷氏门。
独独彭城王主簿刘敬文，有父名成，尚向殷景仁处求一郡守。刘敬文得悉，连忙至刘湛府第，长跪叩首，刘湛惊问何因？刘敬文呜咽道：“老父悖耄，就殷家干禄，竟出敬文意外。敬文不知豫防，上负生成，阖门惭惧，无地自容！为此踵门请罪。”无耻已极。
刘湛徐答道：“父子至亲，奈何不先通知，此次且不必说，下次须要加防！”刘敬文听了，如遇皇恩大赦一般，又捣了几个响头，方才告辞走出。
后将军司马庾炳之，颇有才辩，往来殷、刘二家，皆得相契，暗中却输忠宋主。宋主刘义隆屡使庾炳之传达密命，前往告谕殷景仁，殷景仁虽然称疾不朝，仍然有问必答，密表去来，俱令庾炳之代为传达，刘湛全然未知，但闻庾炳之出入殷家，也还道是探问疾病，不加猜疑。此等处何独放心？
嗣因谢灵运得罪被收捕，宋主刘义隆怜他多才，拟加赦宥。
彭城王刘义康，听刘湛言，说他恃才傲物，犯上作乱，定须置诸重典，乃流戍广州。究竟谢灵运有何逆迹，待略略叙明。
谢灵运前曾蒙召为秘书监，使整理秘阁书籍，补足阙文，且命他撰述晋书。他曾经挟才自诩，意欲入朝参政，不料应召以后，但教他职司翰墨，未免心下怏怏，所以奉命撰史，不过粗立条目，日久无成。
及谢灵运又升任侍中，每天早晚被召见，很得文帝的宠爱。谢灵运的文章书法都独步当时，他每次作文，都亲笔抄录，文帝称他的文章和墨迹为二宝。既然自己是名人，谢灵运觉得自己应该参与朝政，开始被召见时，便这样自许，但召见之后，文帝刘义隆却只把他当成一个文人而已。
谢灵运每次和宋文帝刘义隆在一起喝酒时，宋文帝刘义隆不过让他谈论诗文而已。王昙首、王华、殷景仁等人，名声和爵位一直在他之下，却同时被宠待，谢灵运心中不满，往往推说自己有病而不上朝，只管修筑池塘、种植花树、移栽修竹、摆弄香草而已，并且无休止地让衙门里的劳役服务于他个人。出城游玩，有时一天走一百六七十里，往往一走就是十多天，既不上书请示，也不请假。宋文帝见此情形想将其免职，但又不想直接下旨将其免职让他颜面丧尽，便暗示他主动辞官。谢灵运于是上表称自己有病，皇帝刘义隆让他休假回家乡休养。他临行之前，又上了一道奏疏劝宋文帝刘义隆趁着北魏太武帝拓跋焘西征胡夏国的时机，夺取河北。宋文帝刘义隆不从。
族父谢方明，为会稽太守，谢灵运即往省视，与谢方明之子谢惠连相见，大加赏识。又与东海人何长瑜，颍川人荀雍，泰山人羊璇之，诗酒倡和，联为知交，惠连亦得与列，称为四友。谢氏本为名族，谢灵运得先世遗资，畜养僮奴数百人，又得门生数百，同游山泽间，穷幽极险，伐木开径，百姓惊扰，目为山贼。可巧会稽太守，换了一个新任官，叫作孟顗，孟顗迷信佛教，谢灵运独面讽道：“得道须慧业文人，公生天当在灵运前，成佛必在灵运后。”
孟顗闻言，心中结仇，深恨此言，遂与谢灵运有隙，于是向朝廷上书奏弹告讦说谢灵运想谋反并私自调用本郡军队防守自卫。谢灵运原是多嘴，孟顗亦觉逞刁。
“微臣归家养病至今已三年，平日远离城郭居住，鲜与世人打交道，多呆在偏僻的穷山岩洞之间，几乎中断了和外界的联系。我只想修身养性，平静过完余生。然而，上月二十八日我突然得知会稽太守孟顗上疏弹劾我谋反的不实之语，深感惊异，不知他为何要这样讲，便急忙回到京城面见皇上您并解释清楚。在来的路上，当我经过山阴城时，孟顗全城设防，兵马严阵以待，大街小巷密探遍布。微臣真的不知犯有何罪，竟会被如此防范，现在的我无时无刻不处于恐惧之中。臣下当年曾有幸做过皇上的侍臣，蒙受天恩，如果有确凿证据证明我背叛圣上、大逆不道，我心甘情愿意被判处死刑，以正国法。使普天之下，也不能有我立脚的地方。
现在只以谣言作为