匆忙，唐玄宗也就睁只眼闭只眼认了。然后，唐玄宗就派房琯持传国玉玺到灵武授予给李亨，即唐肃宗。而，房琯也就成了唐肃宗的宰相。
其实，不难看出，房琯做唐肃宗的宰相这本身就让唐肃宗心里有些不乐意，但怎么也得给老爸一个面子。公元756年，即至德元年10月的时候，房琯可能也清楚地知道他的宰相多是因为唐玄宗的缘故才得来的，于是，他想着自己又不是没有能力，得建立一些战功才能站稳脚。主意一定，他就跟唐肃宗说他要去前线打仗，李亨同意了，没想到房琯吃了大败仗，损失了4万多人。过了几天，房琯又吃了败仗。唐肃宗知道后，气得不行，这可亏大了，那军队就是自己的命根子啊！被这房琯一搞，损失了这么多。他心里恨得咬牙切齿，但他又不能宰了房琯。他知道一旦宰了房琯，那老爸时期的大臣就不会支持他了。
你看，本来唐肃宗对房琯就不满意，现在又让他的军队吃了大败仗。按理说，你房琯应该收敛一些了吧！总不能仗着你是唐玄宗身边的人，就这样得寸进尺。可惜这个房琯不这样想，估计发烧把脑子烧坏了，反而做出了更出格的事。他居然以名士自居，成天高谈阔论，不讲实际，还经常装病不上朝。不仅如此，他还常常召集同僚到到家里听他的门客董庭兰的弹琴，整得跟开演唱会似的。房琯真把自己当做一个人物了，然而，现在可是李亨在当皇帝。他这样搞，迟早会完蛋。
果然，没过多久，唐肃宗就把房琯的宰相一职给罢免了。在这里做一点补充说明，关于唐肃宗罢免房琯的原因，除了上面我讲到的，还有其他原因，对此，《旧唐书·房琯传》里有记载，我不一一叙说，只说一点，归根到底，唐肃宗罢免房琯实质上是儿子与老子之间的矛盾，或者说是新旧皇权之间的争斗。
杜甫又怎么给牵扯进来了？这都要怪杜甫太实心眼，玩命玩得太过火。你杜甫要是精明的话，就应该不会去轻言掺和，让他们自行解决好了。偏偏杜甫真把自己当做一个人物，做谏官的也要知时务，你遇到太平盛世的明君，你说什么都没大碍。可当时是战乱时期，你直接谏言唐肃宗罢免房琯是错误的，实在是有失妥当。关于此事，在《旧唐书·杜甫传》里有这样的记载：“甫上疏言：‘最细，不宜免大臣。’帝怒，诏三司杂问。宰相张镐曰：‘甫若抵罪，绝言者路。’帝乃解。”
杜甫说房琯不过是因为小事就遭到罢免，实在是不应该。到底是因为什么事呢？房琯的门客董庭兰受贿。原来，那个房琯不是常召集同僚去听董庭兰弹琴么，久而久之，就有许多人开始巴结董庭兰，董庭兰也借此受贿，捞了不少油水。唐肃宗忍了好久，终于瞅准这个难得的机会罢免了房琯的宰相一职。因为，这个时候的唐肃宗根基已稳，你房琯还敢如此放肆，罢免你宰相一职算是轻的了，没要你的命算是够仁慈的了。杜甫在这个时候说这样“傻不啦叽的话”，唐肃宗肯定是龙颜大怒，心里一定在说，你这个傻的可爱的书生啊，怎么就不明白我的心呢？皇帝发怒火，后果很严重，眼看杜甫小命不保，好在宰相张镐救了杜甫，张镐说杀了杜甫，以后再也没有人敢跟你谏言了。唐肃宗这才放了杜甫一马。
杜甫这次玩得太大，命再硬，也硬不过皇上，只要龙椅上的人一动嘴，小命说没就没了。估计此时的杜甫吓出了一身冷汗，这太悬了！要是真的死了，我半辈子的玩命不是白费了？还是赶紧写一篇文章给皇帝谢罪吧！
房琯一事后，杜甫的命运受到很大的影响。换句话说，唐肃宗开始冷淡他了。杜甫上任左拾遗一职不到一个月时间，就发生这样的烂事。杜甫自己也觉察到唐肃宗对他不感冒了。于是，公元757年，杜甫决定回家探望妻子儿女。