1955年初，台美共同防御条约签定后，3月8日，蒋介石立即派人到当时尚在台北南昌街陆军总司令孙立人官邸，要求他搬出官邸移往台北近郊新店——一个既偏僻又易监视的地方，从此孙立人失去了自由。
那个房子孙立人要自付租金，山中湿气又重，孙立人便呈报说，既然是软禁，可不可以住到自己原在台中买的房子。情治单位研究之后，觉得台中的孙宅也很独立，适合监视与隔绝，便同意孙立人一家都搬到台中去住。彼时孙立人不仅失去军职，也失去了国家赋予军人一切应有的待遇。失去千军万马的指挥权后，孙立人这位抗日英雄面对的是普通人的现实困境。一开始，他连军人的基本待遇都失去了。没有钱，没有军人退休的奉给。他的地位很尴尬，被软禁的他，没有退伍交接，没有光荣仪式，连退伍军人都不算，一夕之间从陆军总司令成了国家的囚徒。他是因为美国试图扶植第三势力，将他当作对象，此种威胁使蒋介石对他产生了猜忌，为杜绝后患最后把他拉下马，永远软禁起来。他就像是张学良、像是李弥一样，成了蒋介石“政权维稳”下的囚徒。
孙夫人一开始还变卖手饰维持家用，几年后实在没有钱了，连吃饭都有问题，软禁中的孙立人请老秘书写信给蒋介石，希望拨补一些费用给他生活。蒋总统也很绝，硬是不以退伍军人的待遇给孙立人，而是以总统的“特支费”，像是恩施一样给孙立人一家作为生活之用。为了让妻儿能生活宽裕，孙立人像张学良、陈立夫的晚年一样开始自已种菜养鸡营生。作为养鸡农，孙立人努力研读许多畜牧业的专业资料，但孙立人不能到市场上了解行情，行动往往比市场慢了一步，最后赔了老本。后来孙立人还养鸟（金丝鹊）、种玫瑰，培植兰花，最后种果树，成了一名果农。半生戎马的孙立人以为这样可以自谋生活，贴补家用。
1960年代，台湾青果及香蕉大王陈查某买下了孙立人在阳明山的一块地，孙立人请人办妥这件事后，拿了钱在台中近郊一个叫大坑的地方买了一块地当果园种果树。
