一九七零年，毛主席又把纪登奎调往中央军委办事组。
毛主席在纪登奎上任之前，把军委办事组成员都召集来，当面对他们说：“你们这个军委办事组啊，象粘土一样，板结了，不透气了，需要参沙子。已经参了一个李德生，看来还不够，我给你们再派个文官，我的老朋友，纪登奎，怎么样啊，欢迎不欢迎啊。”林彪在军委办事组的亲信们也不得不当面向毛主席表示，欢迎纪登奎来军委办事组工作。
纪登奎后来回忆说：“主席担心黄、吴、叶、李、邱他们搞鬼，叫我去那里，就是看住他们。有时我提点意见，仅仅是文件上的修改的事，也把他们搞得精神非常紧张。”
林彪对纪登奎出任高级军职，心里清楚是怎么回事。他对纪很戒备。纪向他汇报工作时，他基本不表态。中央和军委讨论战略、训练、科研、军工、政治工作时，林彪都不发表意见。
一九七一年夏，周恩来带黄永胜、张春桥、纪登奎到北戴河向林彪汇报工作。纪登奎向林彪汇报时提出：军队沉员太多，一个司令员，七八个副司令员，一个政委，七八个副政委，军、师、团、营，一直到基层，也都是一个正职，好几个副职。林总，你是打过仗的人，军队现在这个样子，真的有战争，还能打仗吗？林彪听了，只是说：是啊，那怎么办呢？便没有下文了。
纪登奎出任了军队高级职务后，除了承担“挖墙角”、“参沙子”任务外，还有一个很重要的任务，就是准备打仗。那时，中苏关系仍然处于紧张状态。苏联在中苏、中蒙边境陈兵百万，随时都有可能向我国发动突然袭击。因此，必须做好战争的准备。纪登奎尽管不懂军事，但他对国家的安危还是很用心的。他有自知之明，知道自己不懂军事，他也知道，李德生虽然比自己强，但也只是指挥过军和师一级的军队作战，没有指挥过大兵团作战，没有国家全面防务经验。于是，他在请示毛主席同意后，把善于打仗，指挥过三野大兵团作战，在军队中享有善战盛名的粟裕请了出来。纪登奎给他配备了几个最好的参谋，由他带着，坐上吉普车，在边境线上转了了好几个月，回来搞了一个防御的作战方案，交给军事院校和老帅们、军事行家看后，都认为可以，纪登奎才放下心来。
由于纪登奎在同林彪集团的斗争中，立场坚定，旗帜鲜明，毛主席对他更加信任了。一九七一年，纪登奎除了在中央担任重要领导职务外，还兼任河南省委书记，河南省重大决策和人事安排，都要经过他同意。一九七三年召开党的十大时，纪登奎由候补政治局委员转了正。一九七五年，他还出任了国务院副总理。
九、一三事件发生后，毛主席指派李德生和纪登奎主抓林案。
纪登奎是林彪专案的主要负责人，在关押、审查林办的秘书、内勤和警卫时，由于专案组一开始就苦于找不出有图谋不轨、阴谋政变的证据，纪登奎亲自出面威胁利诱林彪的警卫秘书李文普作伪证。李在巨大的压力下，以三项条件交换，供出林彪是自己主动出逃苏联，也就是李文普指证林彪在去北戴河机场的路曾问“到伊尔库茨克有多远，要多长时间？”以此作为林彪叛国投敌的证据之一。
象许多文化大革命中的暴发户一样，纪登奎也是靠文化大革命爬上来的。毛主席对他的信任和支持是最主要的。纪登奎同四人帮没有关系，他不是四人帮道上的人，自然不支持四人帮的活动，这使他与四人帮发生了一些矛盾。
一九七四年，四人帮在清华大学的爪牙迟群、谢静宜与清华大学党委副书记刘冰的矛盾很大。迟、谢两人在批林批孔大会上讲话时，除了讲批林批孔的内容外，还强调批走后门。刘冰不同意这个讲话，也对迟、谢的不良作风不满。当时纪登奎的一个女儿正在清华大学读书，她关心政治，觉得迟、谢的讲话与中央八号文件有矛盾，回家后就把迟、谢的讲话内容对纪说了，还问纪登奎：迟、谢的讲话和中央八号文件，哪个对？纪登奎明确表示：迟、谢的讲话是错误的。他还告诉女儿：江青等人搞三箭齐发，毛主席已经批评。当时中央政治局要求将毛主席的批示下发，江青不同意，只在别的文件上点一下这个事。中央八号文件就是点这个事。
纪登奎的女儿回校后，把纪的话告诉了刘冰，刘与迟、谢的矛盾更大了。后来，刘冰还提出要同纪登奎谈谈。纪登奎不知道刘冰要谈什么，问吴德，吴德把刘冰写给他的信给纪看了，纪登奎心中才有了数。他一直是支持刘冰的，反对迟、谢的说法和做法。
一九七六年四月四日，天安门广场发生了群众悼念周总理、反对四人帮的政治事件，中央政治局在人民大会堂开会讨论如何处理。四人帮主张镇压，后来决定派吴德组织人在晚上把天安门广场上的花圈拿走。纪登奎在会上没有发言。散会后，纪登奎提醒吴德：把花圈拿走后，要注意明天会发生什么事。这个话虽然说得含糊，但也表明他与四人帮的态度不同，表明他很注意群众的情绪。
一九七五年，根据毛主席的指示，邓小平主持政治局会议批评四人帮。江青对毛主席的生活秘书张玉凤说：“纪登奎是苏联特务，汪东兴是大特务，吴德是国民党。”张玉凤回来就把江青这些话向汪东兴说，她问汪东兴是否把江青的话上报给毛主席。汪说这个事不要汇报，有关中央负责同志的事，不要听江青乱讲。对于这件事，汪东兴曾与吴德讲过，也同纪登奎谈过。
江青说纪登奎是苏联特务这个话，等于把纪登奎推向了敌我矛盾，是重大叛党者，这实际上是要把纪登奎置于死地。对此，纪登奎心中的震怒，是可想而知的。纪听到这个情况后，并不显露于色，而是藏在心里。他十分痛恨四人帮，盼望着早日解决四人帮。
粉碎四人帮后，纪登奎仍然在中央担任职务，他的官职没有变。在一九七七年召开的党的十一大会议上，纪登奎继续当选为中央委员、中央政治局委员，他继续主管他过去分管的工作。
但是，纪登奎仍然坚持文化大革命左的路线，他拥护华国锋，支持两个凡是的错误观点，反对邓小平出来工作，反对平反冤假错案。因此，在一九七八年党的十一届三中全会上，纪登奎遭到越来越多与会者公开的批评，他已经不适宜继续担任中央的领导工作。
在这次会议上，中央决定纪登奎辞去他在中央和国务院的领导职务，但没有公开。到了一九八零年春天，在党的十一届五中全会上，纪登奎正式辞去了他担任党和国家的领导职务，他和华国锋一样，体面地下台了。
