武宗即位后，谢迁晋升为少傅兼太子太傅，宦官刘瑾乘皇帝年幼，独揽大权，排斥忠良。谢迁认为事关国家兴亡，决心“触危机而罔恤，当逆峰而直犯”，多次向皇上陈述已见，但都遭到拒绝，直到要求诛杀刘瑾的建议没有被采纳，谢迁就同刘健一起辞官回家了。

刘瑾对谢迁怨恨不已，一个叫焦芳的人，由于投靠刘瑾而挤入内阁，对谢迁也深感不满。刘瑾、焦芳一伙借口浙江推举的德才兼备的人，如余姚人周礼、徐子元、许龙，上虞人徐文颜都是谢迁的同乡，而草拟的诏书又出自刘健之手，胡说余姚隐士这么多，肯定徇私勾结，互相拉扯。企图以此作为谢迁、刘健的罪状。他们假传皇命，将周礼等人关进监狱审讯。刘瑾还企图逮捕刘健、谢迁，抄没两家财产充公，幸亏李东阳竭力为他俩解脱。结果，朝廷将周礼等人统统发配到边疆服役，并且下令：从此余姚人不得入选京官，只能派作县令。

刘瑾倚仗权势，撤消了皇帝给予刘健、谢迁等人赐爵授官的诏命，并追回皇帝赏赐的玉带、官服等物品。与此同时，撤消授官诏命的竟达六百七十五人，当时，人们都为谢迁的安危感到担忧，然而谢迁依然与客人下棋赋诗，镇定自若。

刘瑾被诛后，朝廷恢复谢迁的官职，但他推辞不受，世宗即位，派遣使者慰问谢迁，起用他担任参议。谢迁派儿子谢正入朝谢恩，并劝明世宗要勤奋学习，效法祖宗，善于纳谏。世宗亲自下诏令派传令官到谢迁家去征召他入阁复职，并命令浙江的巡抚、按察使敦促谢迁起程赴京。

此时，谢迁已是七十九岁的高龄，不得已只好奉命北上，世宗待谢迁十分优厚，天气寒冷时叫他不用上朝参见。一旦得知谢迁生病，又是派太医，又是送药物，还叫专管酒宴的光禄卿送上美酒佳肴，第二年三月谢迁终算告老还乡。“虽残伏枕还忧国”，谢迁回乡后还念念不忘国家兴亡，世宗也常派遣官员问候谢迁的起居。谢迁在家中去世，年八十三，世宗特赠太傅的官衔，谥号文正，葬于余姚东山乡伏虎庄。