然而，数年后，蔡文娜终究未能逃脱杨森的魔掌。在成都华西大学社会系就读时，她又与牙医学院的学生吕某相识，俩人再度坠入爱河。吕某英俊□洒，功课优秀，蔡文娜超凡脱俗，清丽迷人，在周围同学的眼中，是公认的郎才女貌。蔡文娜这时也横下心，决心冲出封建牢笼，与心上人一道奔向新生。只是由于涉世不深，对杨森本质认识不足。在处理这类问题时太过于天真。恋人吕某和周围同学劝她，赶快私奔到英国去。但蔡文娜却要走一条光明正大的路，先与杨森离婚，再明媒下嫁。如此一厢情愿之举，无异于与虎谋皮。

　　于是，蔡文娜心存幻想，满怀希望回到重庆。杨森这时已有察觉，蔡文娜毫不隐瞒，将她和吕某的关系和盘托出，请求杨森放她一条生路，解除婚姻关系。

　　杨森当即不置可否，答应考虑考虑。表面上静若止水，实则内心波澜起伏。蔡文娜以为他心有所动，当夜全心全意陪他看戏，服侍他就寝。第二天，杨森凶相毕露，派其副军长夏炯径直闯入蔡文娜卧室，蔡文娜仅着亵衣，惊得从床上一跃而起，厉声喝斥道：「夏炯，你想做啥子。」夏炯不忍看那张凄美的脸，侧过头一咬牙便开了枪……

　　蔡文娜就此死于非命。

　　然后，为了杀一儆百，杨森集合起妻妾一同来到现场，命她们仔细观看，妻妾们个个吓得面色苍白，颤抖不已。次日黎明，蔡文娜满身血污的尸体被床单包裹住，丢到杨森重庆官邸──“渝舍”网球场边的枯井，草草填平了事。

　　杨森接着又命人前去刺杀吕姓同学，幸而吕某已得知消息，逃往了国外。而蔡文娜的姐姐蔡文其许久没有妹妹的音讯后，跑来重庆打探，杨森叹了口气，悠悠地说：“跑了，跑到英国去了。”蔡文其张愕着嘴，正欲发问，杨森皱了皱眉，说道：“我准备委你丈夫去当县长。”

　　蔡文其听后更觉惊诧，联想到外界传言和许久没有妹妹的音讯，估计已经遇害。只得哭着回了沪州。逝者如斯。只可怜蔡文娜的两个尚不谙人事的孩子，成天哭闹着要妈妈，杨森觉得对孩子有愧，给予了比其他子女更多的父爱，做为对良心的一种补偿。

仓皇飞台九旬纳妾

　　1949年12月18日，人民解放军的隆隆炮声逼近成都，国民党妄图固守大西南的迷梦被粉碎，杨森和四川军阀孙震一同从成都市凤凰山机场乘飞机到海口，然后转飞台湾。到台后的第二天，蒋介石接见了杨森，一见面就说：“你保卫反共基地重庆有功，因为你几十年剿共的名声太大，所以我派飞机把你接到台湾来。”当晚设宴给杨森洗尘。

　　1950年4月，蒋介石委杨森为台湾“总统府上将国策顾问”、“战略顾问委员会战略顾问”.蒋介石知道杨森爱好体育，1960年又给他安排了“中华全国体育协进会”理事长（后为名誉理事长）兼台湾“奥林匹克运动会”理事长；还拨给台北市长春路225号的日本式花园洋房1幢。小轿车1辆供杨森使用；还派给警卫2人，厨师1人，司机兼勤务员1人；每月发给台币1万元。

　　能有如此结局，主要是田衡秋的功劳。当年杨森不惜萎自枉曲，以堂堂的陆军上将身份与还是军统中校秘书的毛人凤结为儿女亲家。田衡秋以商贩世家的眼光巴结毛人凤，终起作用。毛人凤遂替杨森说合，将田衡秋三女嫁与蒋介石外甥竺培丰，攀上了姻亲。

　　杨森在台期间，曾去美国旧金山、洛杉矶、纽约等地旅游，他参观了加州体育馆、好莱坞、内华达州拉斯维加斯城赌场等，并在报上发表了访美观感。杨森以“体协理事会”理事长的身份开展政治的、敛财的活动。台湾体育协进会（后改为“中华民国体育协进会”），是一个民间组织，经费靠募捐维持，杨森就以体协的名义向各方募捐、兜揽生意赚钱。为扩大他在体育方面的影响，他“以身作则”地搞体育活动。他在「体协」理事长任内，以其70岁高龄学会驾驶教练飞机而轰动台湾。他特别喜欢登山运动，每逢星期日无论天晴下雨都要坚持登山活动，他常登七星山、万寿山。在他86岁那年还登上了海拔4000米高的玉山。为表示效忠蒋介石，登上玉山顶时，他高呼：“总统万寿无疆！”驰名中外的大画师张大千特为杨森登玉山作画，并题诗赞赏。

　　蒋经国任台湾“行政院”院长后，以亲信黎玉玺换下了年已90岁的“体协”理事长杨森。为照顾他的面子，给了他“体协”名誉理事长的头衔。杨森对此很不服气，他以90岁高龄再次登上玉山顶，并在山顶上题字、照相，一时轰动体育界人士，被认为是一大奇迹。台湾和外国记者为此撰写文章，还拍摄了一部杨森的体育运动与家庭生活纪录片。这样一来，更扩大了杨森在台湾体育界的声誉。

　　杨森结束官场生涯后，不愿居住在台北市，在台北县新店镇稻子园买了一座山，修建起别墅，在此度晚年。他喜好古玩、字画，收存各式武器。同时他还爱好写诗，有收藏手杖的癖好。

　　1972年2月20日，杨森九十大寿，蒋介石派人在「国防部」三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋，尤其是听说许多人称他是传奇式人物，他更为高兴。他说：“我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生而服务。”蒋介石亲书“贞固康强”的寿轴，杨森把它挂于寿堂正中央，以示炫耀。参加祝寿的除了高级军政人员外，还有“宗亲会”、“同乡会”的各色人物，及杨森在美国的女儿等亲友，来宾达三四千人之多。杨森身着棕色条花西服，胸佩一朵大红花，坐在寿堂正中，神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余，厚1尺余的大蛋糕，杨森煞有介事地举起日本式战刀，切开蛋糕分送来宾。

　　就在生日会上，另一四川同乡，国民党元老张群前来拜访他，杨森叹息道：“我这个人就是喜欢和年青人在一起，这样才有朝气。”张群知他又想“一树梨花压海棠”的心思，便笑道：“那你再讨（娶）一个吗。”

　　就这样，17岁的初中生张灵凤被杨森以招募“秘书”为名，娶进府中，成了杨府第“十二钗”.

　　结婚后，国民党元老于右任送来一副狂草，“海誓鱼龙舞，山盟草木知”,90岁的老人娶了17岁的小姑娘，能说是海誓山盟吗？不到一年，张灵凤居然又为杨森生下最后一女，一时传为海内外的奇谈。

　　1977年3月，杨森从菲律宾访问归来，被台北三军总医院检查为肺癌，两个月后，96岁的杨森咽下最后一口气，结束了漫长的一生。