宰相前来贺乔迁之喜。
此时，安禄山已身兼数职，既任平卢、范阳两镇节度使，又兼任河北采访使、御史大夫、左羽林大将军，封东平郡王，又请求任河东节度使，玄宗把河东节度使韩休珉征为左羽林大将军，以安禄山代之。安禄山母及祖母皆赐封为国夫人，他的十一个儿子皆由玄宗赐名，长子庆宗为卫尉少卿，加授秘书监，尚荣义郡主；次子庆绪为鸿胪少卿兼广阳郡太守。玄宗给安禄山一家人的加官晋爵，反倒使得他踌躇满志，更加骄恣。他招降纳叛，极力扩充实力。他延用了一批有才学的文臣如高尚、严庄等为幕僚，成为自己的心腹。同时又从行伍中提拔了一些智勇兼备的将校如史思明、安守志、李归仁、蔡希德、崔乾祐、尹子奇、武令珣、田承嗣等为自己的爪牙，委以重任。在他的周围聚集了一批文臣武将。
安禄山还从同罗、奚、契丹降者中选拔精壮八千余人，称为“曳罗河”（壮士之意），又养家僮百余人，人人皆骁勇善战，打起仗来冲锋陷阵，勇不可当。又畜战马数万匹，多聚兵仗，还派遣商胡去各地贩卖，每年交纳珍货数百万，同时还私下做了数以万计的绯紫袍、鱼袋，以备后用。
这一年秋，安禄山率平卢、范阳、河东三镇兵数万进击契丹，并以二千奚兵作向导。军至土护真河（在今内蒙赤峰东），他对部下说：“道虽远，我疾趋贼，乘其不备，破之固矣。”乃下令兵士每人持一条绳，以备捆契丹人之用。于是昼夜急行军三百里，至契丹牙帐，适遇大雨，弓弛矢脱不可用，兵士也疲惫不堪，安禄山拒绝了大将何思德让兵士略为休息的建议，促令进兵，结果被契丹兵打败，奚兵也叛唐，与契丹兵合力夹击唐军，杀伤略尽。安禄山中了流矢，只领数十人走山路而逃，慌乱中又连人带马跌进坑里，安庆绪与孙孝哲好容易才把他拖出来，遂连夜逃奔平卢。
天宝十一载三月，安禄山调动蕃、汉步骑二十万击契丹，欲雪去秋之耻。他还奏请朝廷命朔方节度副使阿布思助战。阿布思部下有同罗精兵数万，人人能征惯战，又与安禄山不和。安禄山欲借其助战之机兼并其精锐部队。阿布思识破了他包藏的祸心，拒不助战，在别无出路的情况下，他率数万骑兵叛逃漠北。安禄山也按兵不动。第二年，阿布思部被回纥兵击溃，安禄山又用重金诱降了阿布思骑兵，“由是禄山精兵，天下莫及”。
安禄山招兵买马，极力扩军备战，其不臣之迹自然难以掩饰。这时宰相杨国忠屡次奏告玄宗，说安禄山有“反状”，但玄宗却不以为然。杨国忠之所以屡奏安禄山有“反状”，也许是发现了他的叛乱迹象，但更重要的还是由于两人之间矛盾冲突所致。在杨国忠入相前，本与安禄山关系十分密切。
安禄山入朝时，杨国忠与杨贵妃姊妹皆出外远迎，视如贵宾。当时他任御史中丞，正承恩用事，他见安禄山身体肥大，行动不便，每逢上下朝登殿阶时，都要亲自搀扶他。这是杨国忠有意讨好安禄山，希望他能作为自己强大的外援。但是，安禄山惧怕阴狠毒辣、老谋深算的李林甫，对才能平庸的宰相杨国忠却“视之蔑如也”②。这不能不使他十分恼火，故屡奏安禄山谋反，欲将他置于死地。