在最後一次軍法審判的時候，我雖一言不發，但卻留了一張書面的意見，可以顯示我採取“緘默權”的根源，全文如下：
審判長先生：
我只要花一分鐘就可以把話說完，我的話共分五點：
第一點：關於本案內容部分——我沒有話可說，我用法律裡面的緘默權。我想我也不必說明我為什麼不說話，一千九百四十六年以前，耶穌在被審判的時候，也不說話。
第二點：關於判決的部分——過去我不上訴，以後也不上訴。雖然我是無辜的，雖然我沒有罪，我仍願引用印度獨立的偉大領袖甘地在法庭上的兩句話：“我不願浪費法庭的時間，我承認有罪。”
第三點：關於我的態度部分——我現在聲明，我自被捕後，因被刑求而來的一切我寫和我簽字的東西，全部無效。也許我信心不夠，無法抵抗現代科學方法的刑求，但我知道五百四十四年以前，最有信心的聖女貞德在被捕以後，也犯過跟我同樣的無可奈何的錯誤。
第四點：關於所謂爆炸案部分——雖然跟我無關，但我願為李政一、劉辰旦、吳忠信、郭榮文、詹重雄五個小朋友做他們“人品的證人”，這就是說，我相信他們不是做這種事的人，他們的誣服，是被刑求的結果。我請求審判長先生給他們做無罪的判決（附帶聲明一聲、，在進這軍法處大門以前，我跟他們並不認識，所以我的請求，可以說是客觀的，值得審判長先生參考的）。
第五點：關於我個人的刑期部分——我不要求做減刑的判決，也不對加重不滿。美國民間領袖尤金·戴布茲（就是坐在牢裡還有一百萬人投票選他做總統的尤金·戴布茲）1918年在法庭上的三段話就是我的話：
“只要有下層階級，我就同流；
只要有犯罪成分，我就同儔；
只要獄底有遊魂，我就不自由。”
只要我在這島上，不論我在牢裡也好，在牢外也罷；不論我是“名不副實”的“大作家”也好，或是“名實相副”的“大坐牢家”也罷，我都不會有自由的感覺。因此關於我個人這部分，我不請求減輕。
李敖9月15日
從這一書面陳述中，可以看出我四年多坐牢下來，心靈上所顯示的平靜與蒼茫，這一平靜與蒼茫，使我對刑期多少或出不出獄並不沾滯，但對我放眼的方向，卻別有洞天。1975年9月22日判決確定後，我寫了一封秘密的信給吳俊才老師，吳俊才在臺大教我“近代印度史”，那時是國民黨“文工會”主任，是當權派，我信中說：
俊才老師：
以十八年師生之誼，請老師先聽我一句——“李敖實非臺獨分子！”
我十四歲到臺灣，現已四十，但我至今不會說臺灣話。不會聽臺灣話。我二十七歲“暴得大名”，貴黨報紙罵我是“反派小生。”臺灣人有政治野心者想“統戰”我這外省人，不足為奇。但我對政治乏味，因此，我拒絕了高玉樹。
臺獨分子拿我做對象，我想至少有三派——（一）“臺灣青年”派（他們不斷拿我在他們機關刊物上做主題）；（二）散發傳單派（散發“歡迎李敖參加我們的行列”等傳單）；（三）彭明敏、謝聰敏、魏廷朝。（一）（二）兩派我根本不認識。第（三）派認識都在他們變成叛亂犯之前。他們出獄後，跟我有來往，我不相信他們會再做書呆子式的政治活動，所以不以為意，不避瓜李之嫌，現在證明了我比他們還書呆。
我在謝、魏被捕後三週被捕，他們把我說成“五分之一”（謝說“五委員”之一，魏說“兩個半”之半），說我同意加入組織，我完全莫名其妙。這時候正是火車站出現“歡迎李敖參加我們的行列”等傳單的時候……當然構成了辦案聯合小組（各單位組成）對我的合理懷疑，由於我多年做“反派小生”的紀錄太壞，使我無法取信於人。……大概十幾天後，我感到不遙為配合這“五分之一”的說法，恐怕不得了結。我出於無奈，編了一套說辭，我說我們開過加入的玩笑。我當時想，這一說辭，既可遙為配合加入的意思，又可因開玩笑而大事化小，既無法在“有無上”澄清，只好在“輕重上”取信於一時。
半年以後，調查局的劉科長來看我說：“好消息告訴你，查清楚了，我們知道冤枉你了。”後來我聽說臺獨分子終於承認對我誣攀。一年後開庭，臺獨分子當庭承認對我誣攀，“被迫咬李敖”云云。其實這時候，臺獨分子的宣傳目的已達，他們終於號召成功他們有了一個金字招牌的外省同志，並且讓貴黨背害賢之名。
我自己坐牢，我沒話說；但陪臺獨分子坐牢多年而不能自明，我為之茫然。
接著我提到：
在“國家”利益的大前提上，我和貴黨任何“愛國者”並無二致，雖然我被目為敵人。
我被目為敵人。我的書被禁了，雜誌被停刊了，店面被封門了，牛肉麵都賣不成了。……我淪為荒貨小販，靠老面子推銷古書和舊貨（即《紐約時報》說我的在賣舊電器）。當李翰祥太太看我滿身大汗同小工一起抬冰箱朝她廚房搬，問我：“一代大作家為何淪落至此？”我只有苦笑。
最後十四個月軟禁到來，使我朋友嚇光，生意垮盡。我沒想到我放棄筆桿已六年，可是仍不見容於人。
我又衝動了，我認為貴黨不許我做拿筆桿的人，又不許我做不拿筆桿的人。我開始報復。這些報復都開始在沉默六年以後，都開始在軟禁發生以後。……我依稀看到悲劇的後果，我看到兩敗俱傷。
我又寫道：
從軟禁起算，我失掉身體的自由已近六年。六年前是書被禁了，雜誌被停刊了，店面被封門了……六年來，是荒貨小販做不成了，朋友嚇跑了，女人嫁人了，房子抵押了，親人變了，甚至弟弟也因債坐牢了。一切已凋零褪色，面目全非。內在的自己已由絢爛趨於平淡，外在的關係已由平淡歸於虛無，六年煙雲，可使內外有如此奇變，我彷彿覺得我不是重生一回，而是死了九次。
自1949年到臺灣，我在窮苦中長大，從寫蠟板到送報，到餓著早飯省錢買書，逐漸建立我的一點尚不尋常的“成績”，我做過錢穆寫信稱許的中學生，老師賞識的大學生，胡適限時信送錢贖當的研究生。我最後在極短的時間裡純用文字的力量平步青雲，所向披靡，使想用筆桿壓伏我的人為之失色，轉而以筆桿以外的方法染我身上的顏色。“才如江海命如絲”，我從大作家降為大坐牢家，一切都似前定。孤燈黯淡，子夜獨思，李鴻章說這島是“傷心之地”，對我更有多重的感傷。
我自動申請斗室獨居，終年做宗教式的閉關隱遁。細讀老師的新作《甘地與現代印度》。在靈脩方面，得益尤多。日遠的哲人星期一靜默，我已多年每天都是星期一。靜默使我獨與天地精神往來，上達廣漠之野，無何有之鄉。初判十年，我不上訴，我認為，我該在“傷心之地”坐牢，我願用長年坐牢，償付我做的和我沒做的。我認為一切都已太遲。這次更審，在法庭上我一片緘默！我只向法官引了一句老師書中的話——“我不願浪費法庭時間，我承認有罪。”
老師收到我這封信的時候，我所餘刑期已不到一年。寫這封信的時機，已經到來。我願向老師表白如下：
《文星》被停刊在1965年，今年已1975年，我支付了十年的青春與困境——每況愈下的困境——償還我早年的短期的同室操戈，如今已將兩清。二十六年前；我跟貴黨同來這“傷心之地”，同樣的“愛國”、同樣的胼手胝足，雖然不是同志，但也不該是敵人。天下沒有不解的怨仇，何況我們同一血液，一切宜解不宜結。在這即將兩清的尾聲中，我願透過老師，站在“國家”利益的觀點，權衡我在這島上的去留。我們的敵國，經過權衡已算出放逐作家比留下好，寬大本身就是雄辯，抵消出境後作家的“馬後炮”而有餘，在這一公算下，大作家索爾仁尼琴也好，小作家馬克西莫夫也罷，都被放逐。我在此只就作家去留利害立論，當然是借喻，不是拿蘇聯來比喻。因為我們不是放逐，而是歡送，是雙方在和諧氣氛下協議出我的好處，就是臺灣的好處。我在這島上對臺灣是多餘，對我是浪費。……
在以低姿態建言，提議出獄後放我去外國，我並告訴吳俊才老師，在我這政治案本案以外，還有一件“明明是政治案本案引出的案中案”，在“司法法庭”，以所謂詐欺罪判我半年，“我不能坐這種被誣的不名譽的牢，我請求老師代我政治解決。”全文最神來之筆是我向吳俊才老師提出的奇想，我說我去外國，可以協助彭明敏問題的解決，“我認為他回來非不可能。”這當然是我的一個餌，誘他們放我出去，我再徐圖後計，跟國民黨算總賬。君子報仇，“出國”不晚。果然這封秘密的信奏了效，1976年7月23日，我正在“仁愛莊”被洗腦，所方忽然通知我，說保安處派車來，接我去臺北一趟。上車後直駛基隆路警備總部招待所客廳，未幾吳俊才老師出現，他說他收到我的信很感動，為“國家”為學生他都願出面處理。問我有什麼困難，都可跟他說。我說我入獄後，我弟弟吃了我的錢，把我在他名下（我不把財產放我名下，是怕被“政府”沒收）的水晶大廈房子給押在華僑銀行，又不繳利息，以致房子落在銀行之手，盼能代為解決。後來吳俊才老師再和我見一次面，他說水晶大廈房子部分，他幫忙解決；去外國部分，等我出獄後再說；案中案的司法冤獄部分，查明確是冤獄，乃透過協調，以“不執行”解決。吳俊才老師相對要求我任政治大學國際關係研究中心副研究員，以表示大家不再敵對，並且解決我的生活問題，我以叛亂案的褫奪公權六年也可就此不了了之，可證明所謂國民黨法治，不過乃爾！乃同意。
我是1976年11月19日服刑五年八個月期滿，無保出獄的。出獄後第十一天（12月1日），就有了生平第一個正式職業。那天“國關中心”主任蔡維屏約我見面，說目前研究大樓的研究室已滿，把我安排到總務大樓，用總務主任辦公廳對面的房間做研究室，我心知他們要“隔離”我，我笑而受之。“國關中心”圖書館“敵情資料”甚多，我去借書，我一到，安全室江主任就到，並向女職員們調查我所借何書，我心裡有數，一本書也不借。我去“國關中心”，根本的心態就是應付吳俊才老師的。到了第二年，吳俊才老師去薩爾瓦多做“大使”去了，我趁機堅辭“國關中心”職務，主任蔡維屏不肯放人。我感覺是：“那次短暫的‘副研究員’，就好像一個人上街買菜，突然被抓去當兵，他一有機會，必然要開小差，還回去買菜一樣。”最後，“在中心我待了十三個月，但是全部上班的時間，不到十三個小時。不但拒絕研究，也拒絕討論、拒絕聽演講會、拒絕簽到、拒絕請領書報，最後拒絕領薪水。”我決心走人。1978年，我甚至有存證信給蔡維屏：
一、本人已早於1月22日以掛號信辭職，同時退回薪水，附還證件，並請寄下離職證明。
二、不料等了四個多月，一直沒收到離職證明，反到收到“國研”政人○二○九號和○四○○號來件，視同本人仍在任職，顯與事實不符。
三、並隨信退回來件，並請將離職證明寄下。
只是蔡維屏做不了主，堅不準辭。後來吳俊才老師自薩爾瓦多返臺，親到我家，同意我辭職，但邀我去《中央日報》任主筆，再準備接任總主筆，我笑著說：“我不會給國民黨做打手的，謝謝老師啦！”1978年8月20日，我終於收到蔡維屏簽發的“國際關係研究中心工作人員離職證明書”，“離職原因”欄填的是“辭職”，“離職日期”欄填的是“1978年3月1日”，但證明書籤發日期卻是“1978年8月18日”，可見這一辭職，是經過好幾個月的折騰才成功的。合理的推測是：官方想以“粥馬溫”之職羈縻我，並顯示雙方關係沒惡化，但是這種“優遇”，對李敖是無效的，李敖還是幹方百計地跑了。離開“國關中心”顯示了我的兩點風格：第一，我不愛錢，薪水是副教授待遇，純領乾薪，每年也不少錢，如老老實實，可領二十多年，為數可觀；第二，我愛惜羽毛和自由，主動求去，不像陳鼓應他們貪領薪水，最後因競選被掃地出門了。
我要離開“國關中心”，基本上是一心想過我獄中那種平靜與蒼茫的生活，息交絕遊，謝絕人事。我的經濟基礎是我坐牢前留下的兩戶房子，但坐牢時，都被我弟弟趁火打劫，夥同溺愛他的母親，私下予以抵押，抵押了又不繳利息，以致魚爛河決，難以收拾。最後吳俊才老師請保安處出面，保安處轉由林家祺（他是非常練達的幹才，最有化敵為友的本領，後來我隱居時，一連五個半月不下樓，還是他有辦法把我請出家門的）個人出面見證，“逼迫”華僑銀行以二百三十萬買下水晶大廈房子。我還給該行一百萬欠債後，所餘又還了另一戶房子的三十多萬欠債，最後手上不過百萬元，靠著這點錢，我計劃東山再起。這時舊年將屆，我正開門整修房子，蕭孟能突然而至，抱怨說前幾天在百貨公司碰到我，我竟不同他說話，暗示有人跟蹤，如今他決定還是來看看我，跟我恢復邦交，並說他年關需款，盼我把一百多萬借他幾天，我無奈，只好同意了。不料舊年過後，他告訴我他身陷出售水晶大廈困境之中，欠我的錢無法還，除非我下海幫他解決。我無奈，只好同意了。於是我日日坐鎮水晶大廈，幫他從官方到私人、從私人到他小姨子，個個文書往返或個別交涉，費了好幾個月，費盡力氣，兼做土木包工，才算大體解決。蕭孟能依諾送了一百萬給我，我連同舊存，買下敦化南路金蘭大廈十二樓的房子。搬進去以後，我的生活基調還是息交絕遊式的，但有一筆財路，大大改進了我的經濟能力，那就是辜振甫收購我的一批股票錢。原來這批股票，是辜振甫成立“中國合成橡膠公司”時送給蕭同茲的，當時是二十五萬元。蕭同茲死後，由蕭孟能繼承，因五年不漲，持之乏味，就轉賣給我，因此我成為該公司的股東。先是我在1976年6月，在“仁愛莊”時看報得知有所謂“中國信託投資公司”信用卡發行，只要存五萬元即可自然取得，不必靠人介紹，我感於政治犯出獄後處境困難，有信用卡在手，方便許多，如今既可在不求人條件下持有此卡，乃在1976年6月10日匯去五萬元，依法成為該公司五萬元小股東。沒想到我買下蕭孟能的“中國合成橡膠公司”股票後，被我發現在“中國合成橡膠股份有限公司股東名冊”中，信託投資公司所佔股數竟超出總股數百分之五十後又多超出一三一、四一五股（即過佔總股數百分之五十四）！完全違反“財政部”不得超過百分之四十的規定。規定目的本在防止“‘信託公司’利用信託資金購買其他公司大部分股權，並從事經營，無異併吞其他企業”，而“中國信託投資公司”顯然違法，結果形成我參加的兩個公司相互之間有大吃小、左手吃右手的怪現象，因而發生複雜嚴重的衝突。
┌──────────┬───────┬─────────┐
│衝突公司│造成衝突之禍首│造成衝突之被害人│
├──────────┼───────┼─────────┤
│“中國信託投資公司”│董事長辜振甫│信託資金委託人李敖│
├──────────┼───────┼─────────┤
│“中國合成橡膠公司”│董事長辜振甫│股東李敖│
└──────────┴───────┴─────────┘我乃在1979年3月26日起，以股東身分三次發函“中國合成橡膠公司”質問，並在4月3日派我弟弟李放參加股東會議，三天後我有信如下：
本公司1979年股東常會，於4月3日召開，本人在保留訴訟權利下，委託舍弟李放代理出席。經李放於會後一小時內，整理開會重點，特寫奉如下，做為備忘錄。
一、開會通知常會“上午十時三十分”召開，同時有辜振甫先生“中午十二時，分敬備菲酌”的請帖，證明一年不見，同聚一堂，會程只安排一個半小時時間。在開會以前，一年之中，公司對股東沒有寄出任何一片有助瞭解的資料，禮貌廣本已欠缺。開會時又只安排一個半小時，實在太目中無人。如果一切虛應故事，一個半小時已多；但要認真討論，那就絕對不夠。這次常會，因為本人前後三封信，總算象徵性地討論了一下，已經拖到十二點半，無法結束。經李放提出，一切改為書面詳復，這樣不但準確，並且可使沒出席的股東有所瞭解。承辜振甫先生滿口答應，於是散會。整個過程，是兩個小時。
二、會一開始，負責人就提到剛才十點鐘收到李股東的限時掛號信，對通知開會日期異議，於是一位“王律師”出現了。他說據經濟部的命令，發信日要算一天。李放說李股東根據的是法律，依法命令牴觸法律者無效。但公司負責人堅持要開會，李放說此事只好等復李股東信後，依法解決。
三、會一開始，辜振甫先生請人把本人第一封和第三封信宣讀一遍，本人很感謝辜振甫先生的大度與風度，他的風度一直很好。
四、公司負責人並沒針對本人的信切實答覆，只是挑著答，時間不夠也是原因之一，他們表示了下面幾點：
（一）香山土地申請的耽誤，是建設廳的錯誤（但沒能解釋為何不依法告建設廳，要求政府賠償）。
（二）林園買地是看著地圖買的，沒實地去看。
（三）經營方面承認錯誤太多、太慢。
（四）因為求功過急，難免有錯誤。
（五）在林園的工廠，是林園第一家，問題特多。
（六）在臺灣獨家生產資格，乃是負責人辛苦取得，此中創業甘苦，李股東有所未知。
（七）他們為公司節省了不少錢。
（八）中油公司的塔底油不適用，他們沒能預先注意；表示中油公司對自己產品亦不十分明瞭，不給樣品，他們以為可以合用。
（九）“中國信託”入股大吃小，是“中國信託公司”的問題（此事由辜振甫先生特別表示經財政部特准，手放請出示特准文件，辜振甫先生同意，當卷宗拿到辜振甫先生面前時候，有人對辜振甫先生耳語，於是拒絕出示）。但辜振甫先生保證後年投資報酬率為35.88％。後年起，至少可年賺八千萬。公司一賺錢，臺灣信託就撤退。
（十）郵局證明，提不出來。
五、負責人都有承認能力不夠以致造成經營不當的表示，但給人印象是甲朝乙身上推，乙朝甲身上推，然後甲乙又一齊朝外面人頭上推，再小心翼翼地朝辜振甫先生腳下推。辜振甫先生也承認能力不夠，自認外行，但他也未嘗不推——推給他同父異母弟弟已離開本公司的辜偉甫先生。他說1977年前都是辜偉甫先生實際主持的，他本人1977年3月15日才開始管事。他當選董事長，人正在外國。這就是告訴我們，他是“黃袍加身”才幹了六年至今的。
六、辜振甫先生在表示慚愧以後，宣佈他不要幹董事長了，他私人名下和臺灣信託他代表名下的表決權，他也全部放棄。他的勇於負責的態度，很令人佩服。但是這一形式上光明磊落的表示，立刻引起了他左右支持者和勸進者的頓失所依之感，紛紛大叫這怎麼可以！這樣不行！都連任！一切都維持原狀！……於是叫囂鼓掌，沒經過任何合法表決程序，就說一切都通過了。李放回來告訴本人說：“他好像參加了一次西裝筆挺的暴民大會。”
這封信發後六天（4月12日），我又有長信給“中國信託投資公司”，指出：
貴公司負責人所為，實已在“刑法”第十五章偽造文書罪至第三十一章侵佔罪至第三十二章詐欺背信罪之間。貴公司袞袞諸公，無一非此島上“有頭有臉”之財閥階級，今竟利令智昏如此，通謀由辜振甫先生一馬當先，以特權總歸戶姿態，上通當道，下凌百姓，目無有條之法，手握非分之財。如此橫行，本人絕不干休。先致此信，請答覆。謝罪並賠償。如不獲合理解決，本人將續循輿論與法律途徑處理，特此正告。
辜振甫收到信後，自知勢態嚴重。他挽小姨子華嚴出面，前來談判。於是，華嚴帶了她的許多新作，到我家來，十多年不見，相見甚歡。華嚴是風華絕代的女人，我非常喜歡她。首先談到嚴僑的去世，華嚴和我都不勝傷感。然後“政經分離”，談起辜振甫。華嚴說：“辜先生自感對李先生很抱歉，我姊姊辜太太本來也想一起來拜訪李先生，我說我跟李敖最熟，還是我自己來好了。這次糾紛，的確公司方面不對，現在願意以一倍的價錢，由我出面，買回股票，我是你‘師姑’，請給我面子。”我說：“我老師被捕時候，嚴師母帶了三個小孩到臺北投靠親戚，可是到處吃閉門羹，誰給了她面子？其中辜振甫最可惡，我今天要跟他算二三十年的舊賬，絕不輕饒他。”經華嚴好說歹說，最後以八倍價錢，買回股票。作為“答覆、謝罪並賠償”，才算出了我累積二三十年的一口惡氣。
後來華嚴再來我家，完成了退股手續。我在11月19日，請來了已經十多年不見的嚴師母，當面送了十萬元即期支票給她。我告訴嚴師母：“這個錢你可以拿，這就是三十年前對你閉門不見那人的錢，今天我總算給你出這口惡氣。”嚴師母哭了，她收下了錢、收下了溫情與舊情，也收下了人間絕無僅有的李敖式的正義。後來她特別親手做了西點請我，表達她對我的感謝。
從嚴師母的口中和嚴方、嚴正的口中，我得知了嚴僑死前的一些情況。嚴僑死前六年，他已經遁入皈依宗教的境界，他絕口不談人間的許多事。他皈依的是密宗，家裡佛像、法器一大堆，整天耽迷在這裡。他的師父是一位屈老師，叫屈映光。我聽了一笑。嚴師母們問我笑什麼，我說你們不知道屈映光是誰，我可知道他是誰。他是民國初年的大軍閥啊、是放下屠刀的大軍閥啊！他們聽了，頓時一驚。屈映光垂老學佛後，變成了有道之士，嚴僑很信服他，為了怕他老眼昏花，看不清文字，特別寫斗大的粗筆字，向屈映光上書不絕。我參觀了嚴僑的遺物，看到了這些佛像、法器和這些走火入魔的上書等文件，心裡為之浩嘆不已。嚴僑說他“不斷尋覓二十餘載”始得成解脫，其實他錯了，他其實沒有真解脫，因為他“尋覓二十餘載”，最後取代自己的，只不過是更舊的玄學而已。恰像那外國許多遠離共產黨信仰的理想主義者一樣，他們最後皈依的不是獨立自主，而是聖母與上帝。——他們永遠不是自己的主宰，風霜與苦難打倒了他們，他們不能不抱佛腳！
可憐的是，嚴僑最後的佛腳，也是假的。嚴僑的父親嚴琥，在1962年9月22日死在大陸。他在死前十五年（1947年9月2日），寫信給嚴僑的弟弟嚴僖，就說道：
真實的佛教，頗有高明之處。……不過中國的佛徒，十有八九皆十分庸闇，因“廣大”之名而引了許多邪神野鬼，此最為可惜。金剛經雲：佛無有定法可說，無定法者無偶像之成見也。又曰：“無所住而生其心”，無所住，則不為一切法所拘囚，自然日進不已矣。然而無成見、無所住，非無頭無腦、無主意之謂，佛之頭腦在何處？在智慧，故曰金剛般若波羅密，言智慧如金剛，能摧壞一切愚闇煩惱，令人到彼岸也。故為佛徒而不求智慧，只講禮拜、燒香、禱告是佛教之大罪人，非佛徒也。雖信得性命不顧，亦非佛徒也。只是邪教而已。
佛教不拜偶像，金剛經說：“若以色見我，以音聲求我，是人行邪道，不能見如來。”你做佛教徒，為何行邪道。可惜了！
可憐的嚴僑，他在生命的晚年皈依佛門，竟也皈依錯了。他千辛萬苦去做佛教徒，可惜卻誤信了邪教！當然，嚴僑絕不以為他走錯了路，相反的，他認為他在子夜裡、在孤單裡，已經成功地摸索到了彼岸。智慧如金剛，多年的折磨，使嚴僑的金剛已壞，可惜他已老憊、已懵然無知。在五十五歲那年（1974年7月31日），他終因心肺衰竭死去。回想他生的那年，他的祖父嚴復曾興奮地寫詩期許這個長孫，告訴他：
神州須健者，
勿止大吾門。
又告訴他：
震旦方沉陸
何年得解懸？
太平如有象，
莫忘告重泉。
但是，五十五年過去了，在嚴僑的靈堂上，赫然有他太太叔祖林柏壽的橫挽——“愴懷宅相”！可憐的嚴僑，他以不止光大吾門而生，竟以愴懷宅相而死。《北齊書》李渾傳記邢晏讚揚李繪，說：“若彼雲霧，如見珠玉。宅相之奇，良在此甥。”嚴僑、嚴僑，他被資本家這樣一挽，真要死不瞑目了！
看了嚴僑的一生，我始終以他未能生歸故國、一展抱負為憾。嚴僑飽更憂患，晚年油盡燈枯，看破紅塵，以至神明灰滅，守邪教以終老。在國共鬥爭中，一位這樣的不世之才，就這樣的被犧牲了！
我總覺得嚴氏一門，正是中國現代史上最好的家傳資料。第一代嚴復，身逢帝制不絕，志在引進新潮，齎志以沒了；第二代嚴琥，身逢新舊交替，志在富國強兵，家破人亡了；第三代嚴僑，身逢國共鬥爭，志在建國大業，自己報廢了；第四代嚴正，身逢國民黨在臺灣通吃，志在經濟掛帥，埋頭做白領階級了。嚴氏家傳的橫剖，豈不正是中國現代史的縮影？嚴僑生不逢時、死不逢地，音容醉貌，長在我心，他一生與中國現代史的橫剖關係，絕非他一己之私，因此我在五十之年（1985年4月17日），寫下《我最難忘的一位老師》紀念他。這篇文章三年後由大陸帥華英烈》雜誌轉載，我最後說：
既傷逝者，行自念也。嚴老師英靈不泯，必將在太平有象之日，魂歸故國，以為重泉之告。上一代的愛國者永生，他們雖為消滅反動政權而犧牲了自己，但是，震旦不再沉陸，中國畢竟站起來了。
辜振甫的二百萬臺幣對我有了大改變，除送了二十分之一給嚴師母，又以二十分之一給了我弟弟外，我以餘款買了東豐街一家小店面，後來趕上房地產大漲，使我有了翻一番的本錢，再加上“文字之業”的收入，使我從此立於經濟上不敗之地。——人間“致富”，可以陰錯陽差，時來運轉到這一複雜又交錯的程度，想來不勝離奇。
我剛出獄那年，還買不起六十二坪的敦化南路金蘭大廈，我看中旁邊新蓋的三十七坪的金記環球大廈，跑去簽約，認識了李明瑾，她那時大學剛畢業，明亮可愛、身材又好，令我心動，可惜當時有很好的男朋友。四年半後，在忠孝東路碰到她，相約在一家西餐廳“敘舊”，我第二天寫信給她：
昨晚在燭光下，聽你四次說到你很快樂，我卻不覺得，我覺得你是一個虛度青春的老是想考一百分的問題兒童。你不停止這種“燈之歌”式的人生觀，你的下場，一定很悲慘，悲慘得怎麼把痣點掉都沒用！不過不論怎麼悲慘，你將永遠冷豔動人，正如你昨晚一樣。
後來李明瑾主持電視節目，從俗以去，我一直為她可惜。金記環球大廈因為在車位上處理失當，我去信抗議，他們央求我的舊識黎昌意出面解決，最後以二十萬買了我收藏的一點字畫，雙方解約了事。後來建築界在車位上特別明訂權利歸屬，市井盛傳此乃“李敖條款”雲。
由於對小蕾的美好回憶，使我對銘傳女生特有好感。出獄後我在銘傳附近看她們下課，忽然一個女學生迎面而來，可愛、亮麗、清秀中有一股冷豔，令人一見動情並且一生難忘。她叫賀臺英，我每月送一本我寫的書給她，可是她一直拒絕我。直到我與胡茵夢離婚後，她才同我在圓山飯店有一次燭光約會，我們又在酒吧間談天。那是她和我第一次相聚也是最後一次。後來她也去外國了。
此一女的“育新”是我出獄後跟我有一次郊遊的小女生，她清純美麗，我一吻而別。後來她也去外國了。
在幫助蕭孟能解決水晶大廈糾紛時，我認識了他女婿周其新的女秘書——劉會雲。會雲嬌小可愛，臺大外文系畢業，是我一生中最得力的無怨無悔的女朋友，我們一直同居，直到胡茵夢出現。與胡茵夢離婚後，1984年12月5日，我有信給會雲，有幾段最能道出我的心境：
二十日機場見你含淚而去，在歸途上，我想的卻是《北非諜影》。……《北非諜影》畢竟是電影，所以最後出現了奇蹟。至於臺北，是一個沒有奇蹟的地方，所以soforso“bad”——我仍跟“德國人”在一起。“德國人”當天下午就到市面查扣“千秋”三十八，這期顯然拆穿了“德國人”建黨九十年的謊話，而被他們痛恨。這幾天他們整天慶祝建黨九十年，報紙、電視上一片馬屁，我真覺得我是這一片馬屁中唯一一個真人，我敢於並能夠獨立蒼茫獨自一人挺身與“德國人”鬥，我在這裡，也準備凶多吉少，死在這裡。宋朝梅堯臣寫《東溪》詩，說：“情雖不厭住不得，薄暮歸來車馬疲。”我在這裡，卻“情雖已厭住下去，薄暮下筆不知疲”。我在這裡，至少表示了三點意義：
第一，我樹了一個大丈夫、男子漢的偉大榜樣。
第二，我拆穿了國民黨，並使國民黨在言論上對我全無還手之力。
第三，我為人類與臺灣前途，提供睿智的導向。我完全不知道我能這樣做多少、做多久，但我隨時準備被暗殺、被下獄，絲毫不以為異，“視死如歸，臨兇若吉”（雖然凶多吉少，但是臨兇若吉，吉也不少），此心之光明、達觀、從容，可謂“漢唐以來所未有”。唯一“若有憾焉”的倒是自己的努力，最後“沒世而名不稱焉”，我9月6日對羅小如說：
在這種局面下，我們做的一切努力，都會因國民黨在世上無立足之地而連累得也無立足之地，——臺灣變小了，你也跟著變小了。我們牢也沒少坐、刑也沒少受、罪也沒少遭，可是聲名成績卻不如蘇聯的人權鬥士，也不如韓國的，也不如菲律賓的，這都是因為同國民黨“與子偕小”的緣故。但是，“與子偕小”還是走運的呢，搞不好還要“與子偕亡”呢！古代的愛難者，他們雖然“流淚撒種”，但是可以“歡呼收割”；現代的受難者，最大的痛苦是撒種固須流淚，收割也須流淚，因為你所得的往往是鏡花水月。雖然如此，志士仁人卻絕不懷憂喪志，仍舊以朝行道夕可死的精神，走一步算一步、打一局算一局。十七年前，我翻譯勞倫斯的文字，我真的喜歡這一段；
苦難當前，我們正置身廢墟之中。在廢墟中，我們開始蓋一些小建築、寄一些小希望。這當然是一件困難的工作，但已沒有更好的路通向未來了。我們要迂迴前進，要爬過層層障礙，不管天翻也好，地覆也罷，我們還是要活。
在國民黨的“廢墟”中，我年復一年，不斷地要蓋“小建築”、寄“小希望”，造次必於是、顛沛必於是、坐牢必於是、出獄必於是，我已學會收割時絕不流淚，因為我未嘗不知道鏡花水月總成空，但空又何妨，我們是男子漢啊！
雖然這裡與我的關係，到頭來不過如此，但我在萬里長空、且做[希臘]左巴舞的時候，總也想到人間畢竟該有“行者”與“死者”的佈局，羊角哀與左伯桃、公孫作自與程嬰……以至《北非諜影》中的亂世男女，無一不是“古仁人之心”所該留意的。“古仁人之心”的特色是“不以物喜，不以己悲”，但並不忘了帶給別人“物喜”、成全別人的安全和快樂。我小時候看隋唐故事，看到隋唐好漢一身力託城門門洞的千斤閘，讓人逃出，自己卻被壓死，我至今難忘。人間畢竟該有它的“去留肝膽兩崑崙”的複雜意義，不但有這種複雜意義，並且在表達這種意義時，所用方式是“我自橫刀向天笑”式的，是一種既勇者又達者的從容（甚至不妨伴同一點喜劇性的玩笑）。到了這一段數，才是人生的‘極高明’的境界。
這是我一生中最能表白心跡與處境的信，我寫給了會雲。會雲跟我度過我一生中最長的隱居時期，知我最深、護我最力，有一段時間我一連五個半月不下樓，都是會雲照顧我，她真是了不起的女人。
從我出獄到隱居，已近兩年半了，“蟄龍三冬臥，老鶴萬里心”。“三冬”將盡，“萬里”方來，在這成熟的復出時刻，一個最有眼光的出版家三顧大樓找到了我，他就是遠景出版社的沈登恩。沈登恩判斷：李敖基本上是一位偉大的文人，雖然歷經“告別文壇”、坐牢、隱居等過程，但總有一天會回來，當這一天到來的時候，遠景一定要佔住先機。因此他一再向我試探，一顧兩顧我都不顧，直到他三顧前來，我才決定見他。見他之日我拿出他中學時寫給我的仰慕信給他看，他大為震撼：“李先生的記憶與細密竟如此驚人！”格於政治考慮，當時沈登恩提出構想，只是重版我那兩本當年未被查禁的書——《胡適研究》和《胡適評傳》，我告訴他：“李敖十四年被封鎖，如今重返江湖，只出版兩本出過的書，未免太寒酸了，總該出一本臺灣沒發表過的。我在受難期間，在香港出版過一本《借古不諷今》，如加以增補，改名《獨白下的傳統》出版也不錯。”沈登恩是在出版界反應一流的人，他立刻贊成，於是我們便秘密籌劃出版。沈登恩找來蘇宗顯為我秘密拍照、再由黃金鐘設計封面、梁正居封面攝影，井請我在扉頁來段題辭，我寫道：
五十年來和五百年內，
中國人寫白話文的前三
名是李敖，李敖，李敖，
嘴巴上罵我吹牛的人，
心裡都為我供了牌位。
——李敖
沈登恩又請我寫篇全書簡介，我寫道：
《紐約時報》說李敖——“受人歡迎的青年作家”，“以寫諷世文章出名”，“當地標準下的一個野人”；《聖路易郵訊報》說李敖——“中國傳統的著名批評家”；倫敦《中國季刊》說李敖——“一個得人心的英雄”；香港《星島日報》說李敖——“有才氣有勇氣，還有挾才勇俱來的流氣”，“四十一歲了，盼他重新執起筆來。”
李敖自寫《傳統下的獨白》闖禍起，被追訴多年，一直翻不了身，這本《獨白下的傳統》，是書名翻身，不是他。李敖大隱於市，常常幾個月不下樓，神龍首尾皆不見。這本重新執筆的新書，聊可如見其人，併為仇者所痛，親者所快。
遠景過去沒有李敖，李敖過去沒有遠景，現在，都有了。
同時我為《胡適研究》、《胡適評傳》也寫了簡介：
羅丹為蕭伯納塑像，結果塑像本身比蕭伯納還動人；李敖寫《胡適評傳》、《胡適研究》，也正如此。胡適對李敖說：“你簡直比我胡適之還了解胡適之！”李敖瞭解胡適，並把胡適分色，潑墨出一代風雲。
所以，評傳不是胡適個人的評傳，研究不是胡適個人的研究，而是時代的評傳與研究。李敖不單寫出胡適曾怎麼樣，同時寫出胡適該怎麼樣，不但寫出胡適的理想，同時寫出理想的胡適。
胡適已經墓草久宿，但理想的胡適卻萬年長青，他是
“中國”知識分子的星火，從黑暗照到黎明。
沈登恩最欣賞我寫的廣告文字，廣告文字必須濃縮而奔放，我在這方面得心應手，可謂千古獨步。
沈登恩不但是一流的出版家，並且是一流的李敖推銷家。他在出書前夜，找到《中國時報》副刊版的主編高信疆，秘密透露他為李敖出書，明日上市。高信疆的大哥信鄭是我老友，這小弟弟對我慕名久矣，他見地過人、反應極快，立刻請沈登恩延後一天發書，使他有機會說動“餘老闆’（餘紀忠）。最後，在“餘老闆”的默許下，在出書之日，也就是上報之時，《中國時報》不但副刊版大幅刊出我的《快看〈獨白下的傳統〉》，並且由周天瑞派出王健壯和金惟純兩位採訪我，在1979年6月6日社會版刊出《李敖變了嗎？看他怎麼說！》這是臺灣報紙第一次圖文並茂地大膽寫出李敖。從此文壇奔相走告：李敖復出了！而我出獄後兩年七個月的隱居，自此告一段落。