明武宗正德元年丙寅（1506） 五十七岁

是年吏部移文召文恪公回朝，四月公应诏入阙，以原职供部事。修孝宗朝实录。公充副总裁。九月，武宗召公至左顺门，赐金带一束。

时武宗信任他当太子时早夕侍奉他的刘瑾以及马永成、谷大用、魏彬、张永、邱聚、高凤、罗祥等八人，谓之“八虎”。他们整日诱导武宗游戏取乐，不理朝政。顾命大臣刘健上疏极谏，武宗不纳。给事中陶谐、御史赵佑

等，交章论劾“八虎”罪恶，武宗遂将奏章下内阁议论。刘健等持之甚力。户部尚书韩文和文恪公合九卿诸大臣又上疏声讨“八虎”罪恶，指明其严重后果。武宗看了“警泣不食”，一日三次派司礼太监陈宽、李荣、王岳等至内阁商讨处理办法。值此关键时刻，吏部尚书焦芳将情况密报刘瑾。刘瑾大惊，率马永成等连夜去见武宗，跪哭不起，以头撞地，武宗心动。刘瑾乘机告司礼太监工岳的黑状，云：“害奴等者王岳。岳结阁臣欲制上出入，故先去所忌耳。且鹰犬何损万几！”武宗听后大怒，立即命刘瑾掌司礼监，马永成掌东厂，谷大用掌西厂，并连夜逮捕王岳，发落南京充净军。从此，大权悉归刘瑾，刘健、谢迁等除“八虎”活动，彻底失败。刘健、谢迁，相继去位。刘瑾欲引焦芳入阁，廷议只推文恪公。刘瑾迫于众议，遂命文恪公以吏部侍郎兼翰林院学士，与焦芳一起入阁。逾月，进户部尚书，文渊阁大学士、国史总裁、同知经筵事。

是年七月十七日，胡宜人生延陵，排行三。