幽居台中 教子有方
对于被免职的孙立人，蒋氏父子采取“不杀、不审、不问、不判、不抓、不关”，但也“不放”的“七不”政策。1956年6月，孙立人被逐出台北市南昌路官邸，迁往台中市向上路一段18号居所，开始了漫长的软禁生涯。
孙的居所原为军方宿舍，四周筑有围墙，戒备森严，门前向上路两头堵死，由“国防部”派来的6名“保卫人员”日夜监视，外人不得入内，孙立人和家人也不能随便外出。孙的任何活动，包括打电话，都须通过“保卫人员”向上请示，得到允许后方可进行。孙立人外出，由“国防部”派车，另外，加派一辆吉普车跟随。孙家围墙外，有军事情报局加盖的一栋三层楼的指挥中心，居高临下，随时监视孙的一举一动。凡是“上头”认为“不方便”的事，孙立人均不得擅自去做。外出也必须“保卫人员”“陪同”前往。当时，蒋介石对孙立人看管极严，连孙立人的厨子身上都藏着刀，只要有人想救孙立人，立马一起干掉。
幽居的日子里，家人成了孙立人最大的安慰。孙立人与张梅英前后生育四个孩子，他以“中国安定，天下太平”为儿女命名。儿女多了，开销也变大。孙为官清廉，并无积蓄，幽禁之后又不给薪水，生活十分拮据。早在他担任陆军总司令时，家里就十分清贫，菜金要限制，若来人添菜，只有咸蛋、炒蛋或皮蛋，家人背后称为“三蛋轰炸”。张梅英回忆说：“后来四个孩子长大了，进学校读书，每天要带便当，没钱买米，四个孩子只能分三个鸡蛋吃。”
孙立人也尝试在家养鸡、养鸟，养猪，开辟果园，后来改种玫瑰，他虚心向花农请教，悉心栽培，广受欢迎，被称为“将军玫瑰”。家中有时缺少菜钱，他便到后院剪些玫瑰花，由张梅英骑自行车送到菜市场，交换一些青菜豆腐。粗茶淡饭，一家倒也其乐融融。
然而围墙之外，却是戒备森严。孙立人的小孩直到读小学之后，才有机会跟外界小朋友接触。即便如此，由于家庭的特殊身份，老师和同学都会以异样的眼神看他们。为了不给孩子心理上造成影响，孙立人很少在孩子面前讲述他的往事。
长子孙安平回忆说：“但小孩子们是有感觉的，或多或少对父亲的冤枉知道一点，心中总为父亲的遭遇叫屈。有时候看到父亲想到旧日的部属受到不好的对待，或想到过去一些不公平的事情，总是涨红了脸，不说话，我们就觉察到他很难过。”
孙立人老年得子，对他们虽疼爱有加，但管教却丝毫不放松。他每天为孩子补习功课，无论国语、英语还是数学，他都能讲解，有时比老师讲的还清楚。在他的悉心调教下，长女孙中平和幺女孙太平考取清华大学，长子孙安平考取中原理工学院，次子孙天平考取辅仁大学。四个孩子上大学，每年开学交学费，是家里的一大难事。孙立人的堂妹孙敬婉回忆说：“二哥脾气很犟，非到山穷水尽，绝不会让人帮忙。有一天，他的大儿子要进大学学费没着落，二哥迫不得已，才打电话给我，要我帮忙，我知道他一定是没办法了，才会开口的。”1974年，长女孙中平由清华毕业，父女希望能一起参加毕业典礼。但上面觉得敏感，未能前往，成为遗憾。1959年孙的亲哥哥孙同人去世时，孙立人也同样受阻未能前往，只好看着哥哥送的砚台痛哭。
到了1979年，长子安平和幺女太平同时从清华毕业，孙立人再度申请参加毕业典礼，终获许可，但同时上面与他约法三章：不许上台说话，不准带花，不准与任何人交谈。孙立人如此参加过典礼后，在笔记本上写道：有理无处讲，有冤无处申。
