第二次直奉大战以奉军的全面胜利而告结束，奉军终于一雪前耻，可以顺理成章地再度入关了。但是再度入关并不表明张作霖可以顺理成章地入主中原，至少还有三股势力阻碍着他这一目标的实现。第一股势力就是盟友冯玉祥，在直奉大战中烧了一把火，此刻占据着北京，把持着中央政权，又顺应民心提出了主和的口号，天时地利人和占尽；第二股势力是南方的孙中山革命政权，此时孙中山已经在广东站稳了脚跟，召开了中国国民党第一次全国代表大会，通过了党纲、党章，重新解释了三民主义，同时创办了黄埔军官学校，两广行动也即将统一。一个新兴的国民党政权正在诞生之中，它已经与中国共产党合作，提出了“联俄、联共、扶助农工”三大政策，不久的将来它将要发动北伐战争；第三股势力是南方的直系残余，这股势力以孙传芳为首，他刚刚在苏浙战争中打败卢永祥，号称五省联军总司令，实力不可小觑。
三股势力中，最需要解决的是直系残余，这将在下一节中讲到。而在解决直系残余前，北京的政权由谁做主则是首先需要明确的，此时曹锟政权已经下台，北京政权一直空着，所以需要赶快定下来。
于是第二次直奉战争的胜利方——冯玉祥、张作霖和段祺瑞坐下来商讨这个事情了。冯玉祥是从直系分化出来的，虽然占据着北京，但实力跟张作霖比还是要差很多，以前直系老大曹锟和吴佩孚也只能跟张作霖斗个平局，如今这分化出来的一支更加不能和张作霖比了。冯玉祥也明白这个道理，所以他并不推自己的人上去，而是推出了皖系段祺瑞。段祺瑞确实是个很合适的人选，头上顶着“三造共和”的美名，这次又是冯奉之间的第三方，有身份有名气却最没有实力，谁都很放心，对张作霖也还有过几次帮助，加上他们都是亲日派，在对日本的关系上是一致的，所以张作霖没有理由不同意。
至于南方的直系残余，他们原来的领袖曹锟和吴佩孚倒台了，必须马上推出一个新的领袖来，但是北京政府不是他们说了算，无论是冯玉祥还是张作霖上台，对他们都是不利的，因此段祺瑞上台是最合适的。毕竟段和他们都是北洋一系，段是北洋元老，多多少少还是会维护北洋利益的。所以在拥段的事情上，反倒是南方直系残余最积极。1924年11月10日，南方直系实力派齐燮元、萧耀南、孙传芳、周荫人等10人在南京联名通电，拥护段祺瑞出山以收拾大局。11月12日，冯玉祥、张作霖分别拜访了段祺瑞，表示愿意服从段祺瑞的指挥。11月15日，张作霖、卢永祥、冯玉祥、胡景翼、孙岳联名通电拥戴段祺瑞为中华民国临时执政。
段祺瑞上台了，面对咄咄逼人的张作霖与冯玉祥，他只能搞平衡。他对长江流域的直系残余寄予厚望，因此想方设法尽力维护，以培养抗衡张、冯的第三方势力，也幸亏段的苦心维持，这才使奉军南下一再推迟。
11月24日，中华民国临时执政府在北京成立。段祺瑞就任“临时总执政”，这临时执政相当于以前的总统和总理两个职务合二为一，权力还是比较大的，不过权力到底大还是不大，最终取决于张作霖和冯玉祥。
此时，张作霖和冯玉祥的关系已经非常紧张了。特别是冯玉祥，由于实力较弱，感觉特受委屈，憋了一肚子的气。从第二次直奉战争抢夺胜利果实时候开始，冯玉祥就一直在憋气。这个气主要是从张作霖部下大将李景林那儿来的。11月10日段、张、冯开会期间，李景林竟然突然动作解除了天津以北之北仓冯玉祥部第三、第四两个混成旅的武装，理由是这两个旅是吴佩孚直系之残余，冯知道消息后非常震惊。11日，还是这个李景林，把冯玉祥任命的直隶督理王承斌第二十三师以及孙积孚的第二十师缴械，王承斌被迫躲入天津租界并辞职。12日，李景林授意直隶省议会，以直人治直为借口，推举李景林为直隶保安司令并继承王承斌省长职。这样，直隶地盘完全归奉系所有。其实，李景林的所为，都是张作霖暗中布置的，要不然李景林哪有这个胆。经过这一番折腾，李景林、吴光新部共补充了4个混成旅，总兵力已达到7万多人，分布在天津及津浦、京奉两线，对北京形成了强而有力的高压。冯玉祥因为实力远远不及张作霖，对李景林的上述举动只能采取苦忍待机的策略。
冯玉祥苦忍待机，他待的是什么机？那就是南方孙中山革命政权，他已经看到了这个由孙中山重新组建的国民党政权的欣欣向荣，知道这是一支完全可以借助的力量。所以早在10月25日即冯玉祥倒戈之后的第三天即电请孙中山北上主持大计。10月27日，孙中山分别电复冯玉祥、段祺瑞，答应立即北上。孙中山之所以答应北上，是因为他认为自己和张作霖、段祺瑞合作多年，有一定的来往基础。前文已经说过，张作霖两次与直系大战，南方孙中山都策应了北伐，只不过因为内部根基不稳，北伐进行到一半就被迫回师平乱，所以没起到多少帮助作用。但张作霖对此表示理解并且很讲情义。第一次直奉大战中输得最惨的其实是孙中山，他北伐策应未成，南下平乱又被陈炯明打败只好单身逃往上海。孙中山落难之时，张作霖说：“孙先生是文人，带兵是为难的。我不求他别的，只要他对国家大计多想办法，这帮家伙让我用武力来收拾他们。”并在自己战败之后财政也十分窘迫的情况下托人带给孙中山10万元生活费。后来又在孙中山重返广东重新组建国民党时又捐助了50万元。基于以上种种，孙中山认为此次北上定可促进全国的和平统一。
当时孙中山已经重病在身，但这是1912年他被迫辞去中华民国临时大总统之后，北洋军阀第一次邀请他出面主持大局。对于这么一个不用武力就有可能实现和平建国的机会，孙中山不想放弃，于是他抱病北上。当时南北之间的陆上交通(长江流域一带)被直系势力截断，因此孙中山只能走海路。1924年11月13日，孙中山携宋庆龄乘永丰舰北上，途经香港、上海、日本，沿路提出了“召开国民会议”和“废除不平等条约”两大号召。12月4日，孙中山到达天津，欢迎场景十分壮大，各界团体100多个，群众一万余人前来欢迎。12月31日，孙中山抱病由津入京，受到北京各界群众10万人的热烈欢迎。大家都对孙中山北上主政抱有很大期待。
然而此时段祺瑞已经执政，张作霖下属李景林部已经从天津进驻北京，其第一军进驻丰台，第二军进驻马厂，冯玉祥在张作霖步步紧逼下以退为进，宣布解除兵权，部队交给国家，自己下野到北京西郊天台山去休养。当然，部队交给国家是不可能的，休养也只是做做样子。但至少说明，两派的弱势平衡已经被打破，冯玉祥没有太多办法，相反张作霖则处于顺风顺水的时候，他眼瞅着北京政权正一步步地滑向自己手中，这个时候哪肯再让孙中山这个刺儿头来把事情搅黄？尤其是孙中山明确提出“废除不平等条约”以及“联俄、联共、扶助农工”三大政策。前一项“废除不平等条约”，张作霖在心里是欢迎的，但认为目前阶段行不通，到处嚷嚷非但于事无补，反而四处树敌，招致各国反对，所以他劝孙中山心里想想就行了，其实谁都想把不平等条约给废了，关键是时机未到。后一项“联俄、联共、扶助农工”三大政策，张作霖老大个不认可，当时的俄国已经是列宁领导的布尔什维克掌权，基本上在中国的所有西方列强都很仇视这个共产党政权，联俄联共意味着要跟西方所有列强作对，张作霖既不敢也不愿。所以他还通过汪精卫来做孙中山的工作，让孙中山放弃上述主张，并且说只要孙中山放弃了，那么他愿意追随孙中山，做孙中山的一名卫队长。但是对于孙中山来说，“废除不平等条约”以及“联俄、联共、扶助农工”三大政策，是他在国民党内定下的基本方略，且俄国为他建党建军提供很大帮助，他当然是不会同意张作霖建议的。正在双方讨价还价的时候，孙中山的病情急剧恶化，1925年1月26日被确诊为肝癌，转入北京协和医院接受手术。2月18日移至行馆接受中医治疗，1925年3月12日9时30分，孙中山因原发胆管腺癌转移到肝部而逝于北京协和医院，享年59岁。弥留之际，他提到国事的遗言是：“和平……奋斗……救中国。”孙中山逝世后，段祺瑞、张作霖为其举行了国葬。