因为张作霖和芳泽有过这样的冲突和不愉快，随行人员在回奉前都有一种惴惴不安的不祥预感，唯恐在山海关出事，有人私下里已准备了裹伤包和饼干，以防万一。那几天，奉天宪兵司令齐恩铭也发现老道口四周情况异常，日军守备队日夜放哨，阻止行人通行，好像在构筑什么工事（实际在埋置炸药），为此他向北京发来密电，请张作霖严加戒备或绕道归奉。
可是张作霖却并没有感到有任何不安，对齐恩铭的提醒亦未能引起重视，他还不以为然地说：“齐恩铭这个人警惕性倒是挺高，可有时候就是喜欢大惊小怪的，别真以为有那么严重。”
如同村冈、河本等人对田中的秘密行动一无所知一样，张作霖也绝不会想到关东军竟然要另开一席，瞒着日本政府对他个人展开谋杀行动。日本人后来判断，张作霖之所以敢于“优哉游哉回奉天”，就是因为他确信关东军不会使用武力，而他之所以有这样的信心，又与他已在山本的秘密交涉中给过对方甜头有关。
当然，长期在压力和危险下生存的经验，也没让张作霖完全疏于大意，他对返奉的路线、时间都有过考虑。路线上，他原打算乘汽车由古北口进关，但一者公路坎坷不平，难免会受颠簸之苦；二者既已被人赶下了台，他也不想抄小路灰溜溜地逃回奉天，他老张要堂堂正正地在奉天站接受关东父老们的盛大欢迎。
至于返奉日期，除了故弄玄虚地一再更改日子，由6月1日改为2日，又改为3日外，张作霖还找来了他很信任的瞽目术士张震洲卜算。张震洲摇卦之后，说当日下午7时动身为吉，张作霖便深信不疑，当即决定于这个时间启程离京。
日本《朝日新闻》报道了张作霖当晚离京的场面：“警卫队的刀枪发出熠熠灯光，荒凉的军乐挽歌般的响起。张作霖的左手紧抓着佩剑，行举手礼与送行者告别。”记者还注意到，张作霖的表情显得非常悲痛，当他依依不舍地回望京都的时候，眼睛甚至“闪着光亮”。
像他的前任段祺瑞、吴佩孚那样，张作霖有志于统一中国，可结局却并无任何差别，只能以败军之将的身份黯然离场，“谁目睹此情此景，又怎能毫无感慨”？
这个时候包括张作霖在内，没有人会想到他们的告别其实还有另外一层意味，不久将响起真正的挽歌。唯有离京之前，顾维钧曾经拿着张作霖的八字，请术士为张算命，算命的术士叹息道：“这个命贵是贵，可是正如黎明前的灯胆，马上就要熄灭了。”
张作霖一行所乘专车由北京开出后，作为顾问的町野在天津站提前下车，以便等待张宗昌的军队。这时车上的日本人里面，还有一个日本驻锦州领事。这名领事是在北京上车的，当时他手持奉天的日本军政各界委托书，表示在奉天的日本人一致欢迎张作霖回归奉天。张作霖在略表寒暄之后，便邀他同往奉天，就在专车抵达锦州时，此人称有急事要回领事馆，下车提前走了。有人见他行动鬼祟，怕出意外，建议张作霖改换车厢，但张作霖不以为然，依旧乘坐原车厢继续前进。事后大家回忆起这一细节，怀疑日本领事就是来侦察张作霖车厢号数的，他在锦州下车，既可以脱离爆炸现场，也便于把情况通报给关东军的伏击人员，以免炸错。
1928年6月4日，5时23分，专车驶抵老道口桥沿，埋置的炸药突然起爆，全桥崩塌，据说与预定起爆时间只差了一秒。爆炸声中，铁轨呈现出麦芽糖的弯曲状，张作霖所在车厢的车身当即崩出三四丈远，只剩两个车轮完好。河本自始至终观察着起爆过程，他看到“轰隆爆炸的同时，黑烟飞扬到了两百公尺的上空”，这令他以为“张作霖的骨头也飞上天空了”。
事故现场十分凄惨可怖，共有十七人被炸死。由奉天专程到山海关迎张的吴俊升头贯铁钉，当场身亡。张作霖被炸出三丈远，满身是血，当时还看不见内里伤，只有咽喉处有一个很深的窟窿。校尉处长温守善急忙用一个大绸子手绢将窟窿堵上，然后和其他人一起将张作霖抬上前来迎接他们的汽车。
张作霖的神情看上去非常难过，他虽然神志糊涂，但还能说话，问的头一句话是：“逮住了吗？”温守善骗他说：“逮住了。”
“哪的？”
“正过问呢。”
张作霖这时说：“我到家看看小五（指五夫人）。”接着又说：“我尿一泡尿，尿完了尿我就要走啦！”当时大家都以为他由于严重脑震荡，说的是呓语，不料这其实就是他最后的遗言。
皇姑屯事件令町野感到眼前“天昏地暗”，另外有两个日本人也惊愕得几乎晕倒。一个是身在东京的首相田中，他脸色苍白，流着眼泪讲了一句话：“一切都完了！”另一个是身在大连的山本，他瘫坐在沙发椅上，说：“田中内阁完了，我要回东京。”
河本以为他为日本排除障碍，立了大功，其实从长远来看，这次谋杀行动对中日两国而言几乎接近于同归于尽——东北失去了一个既能镇住内部，又可以在艰难情况下巧妙应付苏日的枭雄，这为若干年后的东北沦丧及民族危机埋下了伏笔。另外，因为张作霖在世时打下的基础，奉系并未如关东军所愿的那样顷刻瓦解，反而田中内阁所寄望的“满蒙五路”和“积极外交”归于彻底失败。
在杨宇霆被诛杀后，日本政府和军方在满蒙问题上更难找到可以对等交涉的对手，最终只能冒险一逞。町野认为，皇姑屯事件是“九一八事变”的开端，更是太平洋战争的远因，“如果由我来谈这些，我一定会臭骂日本的外交和军人，这是日本的耻辱……”