按理，张作霖应该心满意足，对袁姓皇帝连声称谢，但他没有。恰恰相反，他不仅丝毫未领袁世凯的封爵之恩，而且流露出了对袁世凯的强烈不满。就在封爵令下达不久，他公然向袁世凯递交了“辞职”的请求。所谓辞职，自然不是真心诚意地要辞掉自己的官位，只不过是以此表达自己不再归顺袁世凯的意图而已！
为什么一心一意巴结袁世凯的张作霖，在袁世凯称帝天下，权倾一时的时刻，反而公然与袁世凯作对呢？答案其实很简单。
张作霖的行事准则可以用六个字来概括，即“一切为了自己”。无论巴结赵尔巽还是巴结袁世凯，其目的都不过是利用他们达到自己的目的。几年来，他多么希望借袁世凯之手得到奉督一职，但袁世凯却一而再、再而三地令他失望，其心中的苦楚只有他自己最为清楚。所以，如果有可能，他真想一脚将段芝贵从奉天踢走，由自己取而代之。
袁世凯公然称帝，在张作霖看来就正是这样一个绝好的机会。
袁世凯称帝，固然是他权力达到顶峰的标志，但同时也是盛极而衰的开始，善于观察风向的张作霖敏感地意识到了这一点。他非常清楚，自辛亥革命将宣统皇帝赶出紫禁城之后，中国的君主专制时代已经正式结束，打那以后，民主共和的观念已经深入人心，任何一个人，无论他有多大的能耐，如果他敢打起帝制复辟的旗号，国人的唾沫都会将他淹死。袁世凯冒天下之大不韪而称帝，其厄运也必定随之而来。当袁世凯的厄运到来之时，段芝贵自然也就不能在奉天一呼百应了。此时此刻与袁世凯作对，无异于为自己荣升奉督之职制造声势。
张作霖的这一着棋果然下对了！
袁世凯公然称帝，很快引起了国人强烈的反对，各地的讨袁檄文如雪片般飞向北京，西南诸省揭竿而起，首先举起了反袁护国的旗帜。特别值得一提的是，段芝贵也被列入复辟帝制的主要帮凶之列，同样受到了国人的唾骂，他在奉天的处境极为狼狈，留也不是，去也不是。这给张作霖的驱段创造了良机。
现在张作霖所考虑的问题是，怎样成功地将段芝贵赶出奉天？他是一个聪明人，事事都考虑得滴水不漏。在他看来，段芝贵作为中央派驻地方的封疆大吏，如果对他的驱逐太过露骨，则不仅可能引起他的反击，而且还可能引起中央政府对自己的猜疑。所以，他要把驱段作为一场精彩的戏来演。既要成功地让他离开奉天，却又不能暴露出一点点蛛丝马迹。
他首先找到28师师长冯德麟，与冯商量驱段对策。
作为奉天省仅次于张作霖的实力派人物，冯德麟也早就对奉督一职垂涎三尺。特别是，段芝贵自进入奉天后只倚重张作霖一人，根本不把他冯德麟放在眼里，所以，他对段芝贵的仇恨决不亚于张作霖。当张作霖找他商量驱段对策时，他自然满口答应。他愤愤地对张作霖说：“上将军段芝贵是朝廷官吏败类，秽史劣迹人所共知，今为东三省帝制祸首，却仍居奉天人士之上，我辈如何心甘？干脆将其逐出奉天，由我辈奉天人自己来干。”张作霖假意向冯德麟讨一个万全之策，冯拍拍胸脯，一副满不在乎的样子说：“这有何难！我们28师演黑脸，从正面逼他；你们27师演白脸，从侧面吓唬他，不怕他不走。”
听冯德麟如此一说，张作霖心中有了底，于是当即与冯密商，合谋演出了一场不费一兵一卒的绝妙双簧戏。
张作霖首先跑到将军署，神秘兮兮地对段芝贵说：“将军可要多加提防，听说冯德麟准备进兵省城，反对段将军。”段一听慌了神，忙问张作霖有什么计策，张说：“请将军放心，我已做好了一切准备，随时护驾上将军。”
只过两天，张作霖先差遣几个部将对着将军署的上空放了几枪，然后假装慌慌张张地跑到段芝贵处，说：“将军听见枪声了吗？我真没想到，冯德麟这么快就到省城来了！听说他还联络了奉天各界团体要人，就连27师中的部分官兵也附和他，叫嚷什么‘惩办帝制祸首’。看来形势对上将军极为不利啊！’段芝贵听张作霖这么一说，更加慌张，忙问：“你说我该如何是好？”张作霖并不直接回答段的问题，在屋子里焦躁地踱来踱去，然后突然停住，用手指沾水，在段芝贵的桌案上快速写下了碗大一个“走”宇。
段芝贵对张作霖的意见心领神会，当即电请中央政府同意他回天津养病。离奉那天，张作霖亲自到车站为段芝贵送行，并送上数量不少的金银财宝。段临上火车时，张作霖竟然挤出几滴眼泪，依依不舍地说：“望将军早日返回奉天，奉天人民需要您掌舵。”
结果是不言而喻的，段回到北京后，除向袁世凯哭诉自己的苦衷外，没忘记将张作霖的“大恩大德”大肆吹嘘了一番，更没忘了将冯德麟的反叛之举痛骂一通。尽管袁世凯此时的处境不比段芝贵好到哪里，但他还是在自己临死前履行了对东北地区的最后一次人事任命。
1916年4月，也就是袁世凯一命呜呼前两个月，张作霖被任命为奉天督军兼省长，正式掌握了奉天的军政大权。