嚴嵩以陰柔鞏固了權勢，幾乎一手遮天，無人敢反對嚴氏父子，最后還是被更為陰柔的徐階扳倒了。徐階也是以善寫青詞爬上來的，一直非常小心地應付嚴嵩，被嚴世蕃百般凌辱也不聲張，度過了幾次危機，悄無聲息地培植了自己的勢力。嚴嵩的妻子死后，按禮教嚴世蕃必須守喪，不能入直房處理政務了，皇帝有所咨詢，老朽的嚴嵩離了兒子就不知如何是好，從此失去皇帝的歡心。這時，徐階乘機討好皇帝，逐漸得到信任。一天，御史鄒應龍在內監家避雨，隨口問道： “近來宮內有什么事啊?” 內監連聲說： “說不得! 說不得!” 鄒應龍執意追問，內監才告訴他，宮里來了個道士藍道行，能讓神仙在沙盤上寫字，前天神仙說嚴嵩是奸臣，皇上看了沉默了好久。鄒應龍揣摸了一晚，覺得時機到了，便上疏彈劾嚴氏父子。嘉靖四十一年，世蕃充軍，嚴嵩致仕。但不久世宗便有些后悔，藍道行被下獄論死。御史林潤又上疏揭發世蕃背叛朝廷，世蕃被再次下獄，可他得意地說： “任他燎原火，自有倒海水。” 嚴氏黨羽到處散布： “要是法司提起楊繼盛等冤獄，嚴氏就完了。” 法司的官員果然要重算這筆老帳。徐階看了奏疏，問道：“諸君以為嚴公子當死還是當活?”三法官齊聲說：“他死也不足贖罪!”徐階說：“這兩個冤案都是皇帝批準的，皇上英明，怎肯承認自己有錯? 讀此疏必疑你們要歸過于他，龍顏大怒之后，你們不免得罪，而嚴公子將悠然出獄了。”大家一時驚愕無計，徐階從袖子里抽出早已寫就的疏文，主要彈劾世蕃勾結倭寇，便以此奏上。此莫須有罪名竟一箭中的，世蕃果然被斬，嚴嵩郁郁而死。事后，有人當面稱頌徐階，徐階皺著眉頭說：“嚴嵩殺了夏言，我又殺他兒子，必然有人不能見諒，我的心只有天知道了。”