抗戰(zhàn)勝利后，巖井公館被國民檔封閉。袁殊告訴趙如寶，他們事先得到消息，把巖井公館的資產(chǎn)分幾次連夜統(tǒng)統(tǒng)交給蘇北新四軍了，當(dāng)時價值一億多美元。
一次，袁殊和趙如寶說起：“我們這些人，一直是腦袋別在褲腰帶上活著，隨時可以掉腦袋的。我還是挺幸運的，沒有被國民檔特務(wù)暗殺了。”
他經(jīng)常告訴子女們：“我這一輩子就跟著潘漢年干，所有功勞統(tǒng)統(tǒng)都是檔的。別看我現(xiàn)在沒什么錢，我這一輩子無愧于檔的工作。”
這一年，在曾虎等的陪同下，袁殊去了上海等地，故地重游。
上海寶山路天通庵對面原938號，是巖井公館舊址。路過這里時，袁殊停下來逗留了片刻。潘漢年案發(fā)后，當(dāng)年隨袁殊在這里工作的很多人都受到株連，有的人已含冤去世。此行，他見到了當(dāng)年協(xié)助自己從事情報工作的劉人壽和昔日老友吳君。
轉(zhuǎn)道無錫，袁殊去看望了潘漢年案“主犯”之一揚帆。1946年袁殊從上海進(jìn)入蘇北解放區(qū)，第一個到碼頭接他的人就是揚帆。當(dāng)年，揚帆神采奕奕，此時卻已雙目失明，生活不能自理，讓袁殊心里很難過。
辭別揚帆，袁殊專門繞道潘漢年的故鄉(xiāng)宜興，去看望了潘漢年的妹妹潘玉琴。
袁殊最后一次見到潘漢年，是1955年。他到北京飯店看潘漢年，潘十分傷感地說了一句：“凡是搞情報工作的大多數(shù)都沒有好下場，中外同行都一樣。”幾天之后，潘漢年即被捕。一個月后，袁殊也被捕。潘漢年沒有等到平反，于1977年4月病逝于湖南勞改農(nóng)場。
見到袁殊，潘玉琴很激動，一度哭了起來。她說，潘漢年年輕時離家，再未回去。后來家人聽說，他在上海做官發(fā)達(dá)了，但他從來沒有幫扶過老家，反而出事后家人受到了牽連。臨走時，潘玉琴煮了雞蛋，一定要袁殊和曾虎帶上。
離開的路上，天漸漸黑了。袁殊后來記敘了從潘玉琴家出來后的心情：“心里很寂寞。”
袁殊順路乘船回湖北蘄老家，住了一個星期。1911年農(nóng)歷3月29日，他在這里出生于一個沒落官宦人家。
1984年秋天，袁殊腦血栓復(fù)發(fā)。他花了近一年時間，完成了人生中最后一篇文章《屐痕重印江南路——南游雜記》。
“幾十年過去了，各人都有一番難言的春秋，但時至今日，大家已經(jīng)不屑再談那些坎坷舊時了。”他寫道。
文人做派
在曾龍眼里，父親一生都保留了上海時期的文人做派。
在上海時，袁殊過著紙醉金迷的生活，除了不愛賭、不吸鴉片，幾乎什么都沾。曾虎聽袁殊說起過，他在上海時“很有錢很有錢”，但從沒把這當(dāng)回事。
當(dāng)年，袁殊為吳亞醒、巖井英一等干情報工作，月收入在600元以上，他每月把一半以上的收入交給王子春作為檔費。不過，袁殊后來對曾龍?zhí)崞穑吹酵踝哟阂荒晁募敬┐鏖熅b，私下也有過不滿。
抗戰(zhàn)勝利后，袁殊去了大連，以博古堂經(jīng)理身份作為掩護(hù)，從事對香港的秘密貿(mào)易工作。期間，他收藏了很多古玩，以陶瓷、字畫居多。1955年被捕時，大部分財物被抄走。余下之物，文革時被曾龍摔碎燒光了。南長街四合院里裝滿四間房的書籍，大部分也在袁殊入獄后捐出。平反后，發(fā)還了抄走的物品，其中多是名人字畫。
袁殊曾和曾龍談?wù)撨^日本文學(xué)。他說，日本文學(xué)的主要特征，不是曾龍所說的“沉悶”，而是淡淡的哀愁、含而不露的感傷，這是日本民族的特點：含蓄、堅韌、脆弱、輕狂，兼而有之。曾龍覺得，這一評價像極了袁殊的內(nèi)心。
顧雪雍曾寫過一篇紀(jì)念袁殊的文章。顧雪雍的舅舅惲逸群曾是中/共地下檔員，被潘漢年派到巖井公館協(xié)助袁殊工作。據(jù)惲逸群回憶，汪偽時期，有一年春節(jié)，袁殊照例邀請多位老友到他家吃飯慶賀新歲，大家坐在客廳等他，他從樓上臥室走下來，走到樓梯一半時停下，突然號啕大哭起來。過了一會下來時，又談笑如常，好像沒有發(fā)生過這一幕。“大家也不問他，因為大家明白，經(jīng)常變臉使他心理扭曲，變得悲喜無常了。”
袁殊曾告訴曾龍，自己很懷念趙家樓的生活。
那是1949年，李克農(nóng)將袁殊從大連調(diào)到北京，任中/共情報總署亞洲處處長。工作地點位于北京南小街的“趙家樓”，即五四運動時被火燒的曹汝霖舊宅。袁殊每天早上騎自行車上班，晚上回家。與王端離婚后，他干脆吃住在趙家樓，幾乎終日伏案工作。這種無需隱蔽和周旋的日子，是他鼴鼠般的一生中難得的安寧時光。