每周六下午放學(xué)和寒暑假，曾龍、曾虎兄弟會(huì)去趙家樓跟父親一起住。冬天房間里放一個(gè)大大的搪瓷炭火盆，也還是有些陰冷。袁殊大部分時(shí)間都在辦公室工作，或是和別人談話，很少陪他們玩兒，只是周日會(huì)帶他們出去吃一頓飯。
曾虎記得，早上睡醒時(shí)，總是能聽(tīng)到父親咕嘟咕嘟煮咖啡的聲音。
感情生活
曾龍并不諱言，父親一生，女人無(wú)數(shù)。
袁殊曾在給他的信中承認(rèn)：“要說(shuō)我的一生，并不是沒(méi)有可指責(zé)的地方，比如我私生活不檢點(diǎn)。”曾龍說(shuō)，袁殊相信弗洛伊德的性本能學(xué)說(shuō)，認(rèn)為人的行為都受到性的欲望支配。
袁殊身材矮壯，長(zhǎng)相普通，但在社交場(chǎng)上卻如魚(yú)得水。曾龍?jiān)?tīng)母親告訴他，袁殊跟上海的交際花胡慧琪（即《羅曼蒂克消亡史》中“老五”的原型）好過(guò)。他還從社會(huì)主義青年學(xué)院教授陳瓊之對(duì)袁殊的采訪筆記中看到，袁殊談到過(guò)曾與藍(lán)妮（曾為孫科二夫人）過(guò)從甚密。國(guó)民檔特務(wù)英茵也曾與袁殊有過(guò)親密接觸。
曾龍問(wèn)過(guò)袁殊：“與這么多女人有關(guān)系，組織不說(shuō)你？”袁殊笑著說(shuō)：“我跟他們講這些事情的時(shí)候，他們聽(tīng)得很?chē)?yán)肅的，沒(méi)說(shuō)什么。”
袁殊多次向曾龍?zhí)崞鸷脱輪T王瑩的青蔥初戀。文革中，王瑩被迫害致死，葬于香山亂崗。袁殊住在香山東宮二號(hào)時(shí)，曾讓曾龍和曾虎去尋找王瑩的墓地，遺憾未能找到。
袁殊留戀不已的，還有曾龍的母親王端。
1941年，袁殊和馬景星離婚后，與王端結(jié)婚。1942年到1945年，曾昭、曾曜、曾龍、曾虎相繼出生。解放初期，王端被調(diào)到中調(diào)部工作，不適應(yīng)機(jī)關(guān)生活，夫妻頻繁吵架，1953年與袁殊離婚去了上海。因受袁殊問(wèn)題牽連，文革時(shí)，王端跳江自殺。平反后，袁殊聽(tīng)到王端去世的經(jīng)過(guò)后哭了，說(shuō)：“真愚蠢，她要是不死，肯定會(huì)跟我復(fù)婚的。”那一晚，他一夜未眠。
袁殊1977年第一次回家探親時(shí)，就跟曾龍?zhí)崞�，想找個(gè)伴侶一起生活。
1981年的一天，香山南營(yíng)的鄰居告訴曾龍，袁殊跟家里20歲的小保姆拉拉扯扯，最好注意影響。曾龍非常惱火，跟袁殊大發(fā)了一通脾氣。袁殊坐在一邊，面無(wú)表情，一句話不反駁。
一個(gè)星期天，趙如寶來(lái)探望時(shí)，曾曜正給袁殊洗臉，梳頭，刮胡子，給臉上擦油，換干凈衣服。趙如寶問(wèn)這是在干嗎，袁殊捂著嘴不好意思地笑了笑，擺擺手說(shuō)：“我要去約會(huì)，你別管我。”
袁殊晚年接觸的對(duì)象不少，但都沒(méi)能走到一起。“他就是希望有個(gè)家庭的溫暖環(huán)境。”趙如寶說(shuō)。
1986年的一天，袁殊告訴曾龍：“我決定不結(jié)婚了。”曾龍覺(jué)得，父親可能已經(jīng)意識(shí)到自己不久于人世了。
健康惡化
進(jìn)入1985年，袁殊的身體健康每況愈下。
兩度中風(fēng)使他的腦組織受損，導(dǎo)致腦軟化，無(wú)法控制情緒。他變得喜怒無(wú)常，有時(shí)發(fā)牢騷、罵人，有時(shí)又突然大哭大叫。
1985年，夏衍出版了《懶尋舊夢(mèng)錄》，其中露出袁殊1935年因“怪西人案”被捕時(shí)叛*變自首的弦外之音。
1935年5月，上海發(fā)生“怪西人”案件。第三國(guó)際遠(yuǎn)東情報(bào)局負(fù)責(zé)人華爾敦被捕后，始終一言不發(fā)，被稱(chēng)為“怪西人”。軍統(tǒng)不知其身份，只從其身上搜出一個(gè)筆記本，上面寫(xiě)有袁殊的名字，袁殊因此被捕（8個(gè)月后被營(yíng)救出獄）。之后，夏衍認(rèn)為自己險(xiǎn)些被誘捕，懷疑袁殊叛*變。
1980年袁殊第三次從勞改農(nóng)場(chǎng)回京時(shí)，曾虎曾陪他去見(jiàn)了夏衍。回來(lái)的路上，袁殊說(shuō)，該談的問(wèn)題都談清楚了�？吹健稇袑づf夢(mèng)錄》，袁殊十分惱火，用抖動(dòng)的手勉強(qiáng)寫(xiě)了份書(shū)面材料，要求組織澄清此事。
老干部局局長(zhǎng)朱玉琳告訴曾龍：“組織是根據(jù)事實(shí)來(lái)說(shuō)話的，夏衍沒(méi)有被捕，組織自然不會(huì)采納他的說(shuō)法。”
一位部領(lǐng)導(dǎo)告訴曾龍，1954年審干中袁殊的政治結(jié)論就是自己做的。“1935年被捕不是什么大事，袁殊立過(guò)大功，小毛病不少，就是文人那一套，吃啊喝啊找個(gè)女人之類(lèi)的。”
院里的老干部局經(jīng)常組織活動(dòng)，下棋、打牌，請(qǐng)?jiān)馊�，他從不參加�?ldquo;他也覺(jué)得孤單，但他總認(rèn)為別人說(shuō)他是漢奸叛徒，到人群里會(huì)惶恐不安。”曾龍說(shuō)。
部里很多老同志都對(duì)袁殊的案子十分同情。一位老干部曾對(duì)曾龍說(shuō)：“袁殊立下的功勞比我們多。”