本来，做为翰林学士知制诰，官职是三品，仅次于宰相二品；常规是由最有名望的学者担任，往往是下一步担任宰相的过渡。距离宰相只有一步之遥了；东坡天天接触太后和皇上，也有得天独厚的有利条件；但他并无此奢望。本来更无心卷入朋党之争，但它却是卷入了，而且成了‘蜀党’的代表人物。
苏东坡心力交疲，他本来就不是勾心斗角的人，也从来没有拉帮结派的念头，实在不想再玩这种政治游戏了，退而窃想，自己怎么会染指这等勾当；本来就不是勾心斗角搞政治的这块料！故而多次提出从重要岗位上退下来，请求“除一京师闲慢差遣，庶免众臣侧目，可以少安”，在京里随便给个闲差，省得大臣们侧目而视，自己也就心安理得了。
高太后真对得起苏东坡，任人评说，丝毫没动摇对他的信任，以一个女人的直觉始终把握着一个最基本的原则——苏东坡是个值得信任的忠臣。高太后的意思很明白，她告诉苏东坡别管别人说什么，你都别管，“直须尽心事官家，以报先帝知遇”，你尽管尽心尽力地辅佐幼帝和哀家，报答先帝的知遇之恩；只要老身在，保你安然无恙。
苏东坡感谢太后的信任，然而他在场政治风暴中心越转越晕，受不了了，他要逃跑。
元佑四年三月，经不起苏东坡一而再再而三地离京请求，看看苏东坡在京的日子实在难过，高太后终于松了口，让他如愿以偿，以龙图阁学士出任杭州太守。
苏东坡是明智的，在京这四年多时间，架吵了无数，真正办成的事没几件；公文写了不少，诗词佳作没有，与其这样烦心，还不如远走高飞，再去杭州享受青山绿水、清风明月去也！
朝廷也是明智的，来来回回折腾了二十来年了，怎一个乱字了得，此时急需的是稳定和谐的社会，再也不能乱下去，再也不能瞎折腾了。憨直平庸的无党派民主人士吕大防确实是最佳人选，故入选为相。
拿到调令赶紧走人，苏东坡临行前，八十三岁的潞国公文彦博给他送行，老头儿拉着他的手最后叮嘱道：“子瞻啊，以后写诗一定要再谨慎些才好。”
苏东坡苦笑一声：“您老说的对，是要谨慎。您看我写一首诗，不知道有多少人在等着解读、侧目挑刺呢！”