何应钦辞职后，原准备前往美国当寓公，安度晚年，他在出使联合国期间即在美国购置了别墅，为自己留了退路。
但蒋介石明令何应钦必须火速赴台“甘苦共尝”，并为他准备了专机。当时许多追随蒋介石多年的国民党要人纷纷逃亡海外或滞留香港，何应钦为此很作了一番思想斗争。
何应钦心里明白，在非嫡系者看来他是蒋介石嫡系，而事实上他又与蒋介石有着种种隔膜。蒋介石对其爱之加膝，恶之坠渊，他心里自然忐忑。但最终他还是听从了蒋介石的召唤，携家眷飞往台湾。
何应钦乘坐蒋介石的特派专机举家迁台，下飞机后却无安身之所，甚至无人过问。
好在何应钦为人宽厚谦和，颇得部属的好感，时任台湾警备总司令的钮先铭见老长官如此落魄，将自己居住的位于台北牯岭街的一幢小楼让给何应钦一家。这幢小楼产权属于台湾省物资局，看上去毫不起眼，对何应钦一家却是雪中送炭。
驰骋疆场大半生的何应钦，此时闲下来深居简出，“闭门思过”。其所思之“过”，便是参与桂系逼宫与西安事变中的主战，生怕蒋介石算旧账拿他开刀。