1939年11月，在巖井英一要求下，袁殊寫下《興亞建國論》，在各大報(bào)刊發(fā)表，公開與日本人合作。為牽制汪精衛(wèi)，巖井英一又要袁殊全權(quán)負(fù)責(zé)組建“巖井公館”（即“興亞建國運(yùn)動(dòng)”本部）。后袁殊加入汪精衛(wèi)zf，由人人所知的“落水”，變成了響當(dāng)當(dāng)?shù)?ldquo;漢奸”。
因此，與袁殊同時(shí)平反的一些老同志聯(lián)名給中央寫信，認(rèn)為袁殊被捕后叛*變，投靠日本人，是真正的漢奸，不該平反。而袁殊則堅(jiān)稱，他所做的一切皆是奉潘漢年指示。
其中最關(guān)鍵的事件是，潘漢年與巖井英一的會(huì)面。
1941年5月，在袁殊的牽線下，潘漢年以“一位叫胡越明的關(guān)心國事者”的身份去見了巖井英一。爭(zhēng)議在于，巖井英一是否知道“胡越明”的真實(shí)身份？
袁殊稱，潘漢年去見巖井英一之前，在沒有得到潘漢年指示的情況下，他先斬后奏，告訴了巖井英一其真實(shí)身份。此后，巖井英一與“胡越明”一直心照不宣地打著交道。在巖井英一的回憶錄里，也說自己知道“胡越明”就是潘漢年。
負(fù)責(zé)老干部工作的局長朱玉琳告訴曾龍，袁殊平反結(jié)論中“犯有嚴(yán)重政治錯(cuò)誤”即指此事。這也是袁殊平反的最大障礙，有人暗示他改口，反正其他人也不知情，但他堅(jiān)持不改口。
朱玉琳還告訴曾龍，潘漢年被關(guān)押期間，文革前對(duì)袁殊沒有任何微詞；文革后，對(duì)于巖井英一是否知道自己的真實(shí)身份，開始出現(xiàn)多次反復(fù)。
曾在中/共特科工作的樓適夷告訴了曾龍此事的一個(gè)細(xì)節(jié)。
王天木叛*變后，李士群誘捕袁殊。袁殊不知事變，到上海靜安路一家小咖啡館赴約，意外巧遇了好友樓適夷。袁殊告訴樓適夷，明天到這里來，可以見到潘漢年。
第二天，樓適夷按時(shí)來到小咖啡館，遇到了袁殊的妻子馬景星。他這才知道，前一天，袁殊在這里被扣了。潘漢年來后，不慌不忙地說，“沒事”，然后告訴了馬景星一個(gè)電話號(hào)碼，叫她去找?guī)r井英一。
至此，曾龍才終于相信，“五重間諜”對(duì)袁殊來說是外形，中/共情報(bào)員才是本質(zhì)。
曾龍問過袁殊，把潘漢年真實(shí)身份告訴巖井英一，算不算供出了共/產(chǎn)/檔的重要人物？袁殊說，不能這么說，因?yàn)槿绻徽f潘漢年的真實(shí)身份，見面就起不到什么作用。
曾龍又問袁殊：“潘漢年有什么興趣特點(diǎn)？”袁殊不假思索說：“他喜歡搞‘陰謀詭計(jì)’。”晚年的袁殊在一次酒后說：“要不是潘漢年叫我那樣做，我怎么會(huì)鉆那種狗洞呢？”
1982年12月，關(guān)露在家中吃安眠藥自殺。
得知此事后，曾龍十分吃驚：“好端端一個(gè)人干嗎非得死呢？”袁殊沉默了一分鐘，說：“我知道。”又停頓了半天后，說：“她無可奈何。”
“難言的春秋”
平反初期，袁殊一度有了重出江湖的勁頭。
有時(shí)，機(jī)關(guān)請(qǐng)?jiān)夂湍贻p人分享地下情報(bào)工作經(jīng)驗(yàn)，袁殊一連講上幾天也沒有疲態(tài)，反而精神振奮。
他向組織提出，要去考察長江，要去香港和日本繼續(xù)活動(dòng)，干老本行。他要求單位為他配個(gè)秘書，協(xié)助自己做口述記錄。皆未能如愿。他只能用發(fā)抖的手獨(dú)自完成了回憶潘漢年和馮雪峰的文章，但未能發(fā)表。一萬余字的潘漢年紀(jì)念文章《紅色小開》，后來被人借閱，不知去向。
1983年，他開始翻譯百萬字日文小說《細(xì)雪》，由于手抖得厲害，不得不中途放棄。
在曾龍眼里，袁殊有強(qiáng)烈的企圖心，喜歡做常人做不出來的事。袁殊告訴曾龍，在上海灘，像他這樣平地滾起來的人還有幾個(gè)，干特工特別冒險(xiǎn)刺激，自己干得很起勁兒。他常說：“一個(gè)人一定要在有生之年干點(diǎn)什么，才不負(fù)此生。”
1984年，在袁殊的老戰(zhàn)友、時(shí)任中央政法委書.記陳丕顯的批示下，三女兒曾曜一家調(diào)進(jìn)了北京。曾曜丈夫趙如寶告訴《中國新聞周刊》，陳丕顯批示的大意是：一個(gè)受了20多年冤屈的老同志，提這么一點(diǎn)要求我們能不同意嗎？
每周日，一家三口會(huì)騎自行車去看望袁殊。趙如寶最喜歡聽袁殊講過去的故事，講到好笑的地方，袁殊經(jīng)常哈哈大笑。
袁殊曾和趙如寶說起在汪偽政權(quán)清鄉(xiāng)委員會(huì)的工作：“實(shí)際上好多共/產(chǎn)/檔抓來了后，我就假裝出一副司令的腔調(diào)，教訓(xùn)一頓就放了，特別是女的。”