嘉靖三十三年，居正请告归江陵，暂时脱离了政治生活。在这一年，俺答还是不断地向大同进攻。东南方面，倭寇的侵扰更加积极。由太仓溃围的残贼，夺海船再入江北，大掠通州、海门、如皋这一带，前锋直到山东境上。江南一带，海盐、嘉兴、嘉善、松江、嘉定，到处都是倭寇。总督浙福南畿军务张经和巡抚浙江副都御史李天宠正在积极地堵御。到冬天，严嵩的义子赵文华上奏，倭寇猖獗，请祷祀东海，镇压暴寇。异想天开的对策，从专事斋醮的世宗看来，正是合理的策略。赵文华奉命南行，沿路骚扰，一面上疏弹劾张经不肯办贼。张经正在调兵杀敌，等到三十四年五月在王江泾大破倭寇，斩贼一千九百的时候，赵文华上疏的结果也揭开了。张经被逮入京，不久李天宠也被逮，十月间，二人弃市，附带着杨继盛也趁此被杀。弹劾严嵩的和不善伺候文华的，得到同样的结果。这是当时的政治。东南方面和西北方面的敌人同时进攻，这是当时的情势。这一个有抱负、有主张、有办法的三十岁的青年，已经退出政治生活，在诗酒往还中消磨他的岁月。