至此，田中完全打消了让张作霖下野以及对东北军进行缴械的念头，“外科方法”宣告出局。1928年5月16日，田中内阁举行阁议，决定向中国的南北两军分别发出“备忘录”：劝张作霖迅速退至关外，否则不能保证不解除东北军的武装，同时要求北伐军不得进入东北地区，否则将“采取适当而有效的措施”。
可以看出，这份备忘录和张郭战争时关东军的声明颇有神似之处，表面貌似不偏不倚，其实是在帮张作霖的忙，因为北伐军占领京津早已是铁板钉钉，蒋介石要统一中国，下一步无疑就是紧追不舍，用兵关外，但备忘录画了红线，绝对禁止他这么做。
5月17日深夜，驻华公使芳泽谦吉造访帅府。芳泽虽然也是个有些资历的外交官，但有时说话做事不分场合。张作霖“登基”以后，有一次设国宴招待外国使节，芳泽也在被邀之列。宴席上有两道菜很别致，一道叫“向阳葵花丝”，一道叫“胜利红桃片”。前者摆放整齐后像一面民国国旗，后面像一面大元帅的帅旗。芳泽吃得高兴，有些忘乎所以，他用手指着这两道菜，笑着对张作霖说：“我们日本人就爱吃这样的菜，真好吃，味道太美了。”
言者或许无心，听者却感到别有深意，张作霖马上以讽刺的口吻对他说：“你们愿意吃，但恐怕吃不消吧。”一句话，引得全桌大笑。国务总理潘复见张作霖面带怒容，情知不妙，忙拿话岔开：“喝酒，喝酒，吃菜吧！”接着又悄声对张作霖说：“大元帅，他们是喝醉了。”其他官员也插话说起别的话题，张作霖的脸色才稍有缓和。
宴会结束，张作霖回到住所后仍余怒未消，他对身边的人说：“这两道菜都有象征意义，那道像国旗的菜，代表了我们五族共和。他小日本就爱吃，净想好事！他妈拉个巴子的，他能吃得了吗？”
现在这个惹人讨厌的芳泽又来了。张作霖正和几个客人打麻将，听说日本公使来访，客人们急忙起身告辞，张作霖明显对接见芳泽提不起兴趣，他摆了摆手，挽留众人说：“我和芳泽没啥谈的，不大工夫就能说完，你们等等！”
见到张作霖后，芳泽先传达了备忘录的内容，接着又向张作霖提出了借款修筑吉会铁路的要求，并且诱惑他说：“如果阁下答应这一要求，大日本帝国可以设法阻止北伐军渡过黄河。”张作霖一向对日军直接介入中国内战持反感和抵制态度，听后立即正色答道：“我们家中的事，不劳邻居费心，谢谢你们的好意。”
吉会路是“满蒙五路”中的第一条线路，在秘密交涉中，张作霖已经让人在相关承建合同上签了字，但因为芳泽不是秘密行动的成员，所以对此事并不知晓。见张作霖不为所动，泄气之余，便忍不住嘲笑道：“阁下应该清醒些，你们打得过北伐军吗？”
“这不劳邻居费心，打打看吧！”如果是中国人这么说，张作霖或许还能忍受，芳泽作为一个外国人，他是无法容忍的：“打不过他们，我再撤回去也不晚。”
芳泽冷笑一声：“恐怕未必能回得去吧。”
听到这里，张作霖的脸顿时涨得通红，他拍着桌子大声喊道：“这是什么话！关外是我的老家，我愿意什么时候回去就什么时候回去，谁还敢拦路不放吗？”
“好了，好了，先不谈这些了。”芳泽属于软塌塌的性格脾气，张作霖发这么大的火，他也没太当回事，接着又从公文包里取出张郭战争时张作霖与关东军签订的那份密约，放在桌上往张作霖面前一推：“趁阁下还在北京之际，请把这份由您个人签署的条约改为北京政府签署的正式条约。没法子，时间不多了，务请马上办理。”
张作霖接过密约，却并没有要办理的意思：“不要急，先放在这里吧。”
见张作霖又要拖延和推脱，芳泽只得掏出他所认为的撒手锏：“现在本公使代表帝国政府，正式向你们提出另一严重事件。”
“又是什么事件？”“张宗昌的兵在济南杀了几十名日本侨民。”张作霖一听是这件事，便回答说尚未接到相关报告。
芳泽以为击中了张作霖的软肋，便得势不饶人地对张作霖说：“张宗昌的军队是你的部下，你应对此负一切责任。”
芳泽自以为得计，却不料将张作霖给彻底惹毛了，他霍地由座位上站起，将手中的翡翠嘴旱烟袋猛地往地上一摔，旱烟袋当即断为两截：“岂有此理！这件事一无报告，二无调查，空口一说，我他妈的负个屁责！”
张作霖与芳泽的会谈一共持续了三个多小时，与张作霖开始称的“不大工夫就能说完”大相径庭，里间的几位客人都等得有点不耐烦了，便公推其中一位懂得日语的前去听听他们到底说些什么。此君侧耳倾听，可是也没听出什么来，只听到张作霖说：“我这个臭皮囊不要了，也不能做这件叫子子孙孙抬不起头的事情！”——张作霖常说：“人是一个臭皮囊，裹着一包脓血，必须有点骨头。”
紧跟着，不待芳泽辞去，张作霖就丢下这个被惊得目瞪口呆的日本人，怒气冲冲地离开了客厅。当时留在里间的几个客人都很惊讶，不知道芳泽究竟提出什么问题，才会惹起这么一场严重的冲突。