《山居筆記》一書的寫作，始於一九九二年，成於一九九四年，歷時兩年有餘。為了寫作此書，我辭去了學院的行政職務，不再上班，因此這兩年多的時間十分純粹，幾乎是全身心地投入。投入那麼多時間才寫出十一篇文章，效率未免太低，但我的寫作是與考察聯在一起的，很多寫到的地方不得不一去再去，快不起來。記得有一次為了核對海南島某古蹟一副對聯上的兩個字，幾度函詢都得不到準確回答，只得再去了一次。這種做法如果以經濟得失來核算簡直荒誕不經，但文章的事情另有得失，即所謂得失寸心知。
在總體計劃上，這本書是我以直接感悟方式探訪中華文明的第二階段記述。第一階段的記述是《文化苦旅》，那本書中的我，揹負著生命的困惑，去尋找一個個文化遺蹟和文化現場，然後把自己的驚訝和感動告訴讀者。但是等到走完寫完，發覺還有不少超越具體遺蹟的整體性難題需要繼續探訪，例如
對於政治功業和文化情結的互相覬覦和生死與共；
對於文化靈魂的流放、毀滅和復甦；
對於商業文明與中華文化的狹路相逢和擦肩而過；
對於千年科舉留給社會歷史的功績和留給群體人格的禍害；
對於稀有人格在中華文化中斷絕的必然和祭奠的必要；
對於君子和小人這條重要界線的無處不在和難於劃分；
這些問題如此之大，當然不可能輕易找到答案，我能做的，只是招呼讀者用當代生命去感觸和體驗。這便構成了《山居筆記》的基本內容。
稍稍年長的讀者應該記得，這些問題在十年前公開談論並不方便。當時，哪怕是給清朝統治者以更多的正面評價，把民間金融業全面破碎的主要原因歸之於太平天國運動，或者在不設定唯心主義的批判前提下充分肯定朱熹，在維繫社會管理和文明傳承的意義上稱讚科舉制度，都會引起不少左派批判家的警惕，更不要說打破時限大談流放、小人、圍啄這些很容易讓人產生現代聯想的命題了。為此，我要再一次感謝當時敢於發表這些文章的《收穫》雜誌。至於我本人的勇氣，則來自十年浩劫間對民族苦難的切身感受和反覆思考。這種思考，開始於浩劫初期可憐父輩的牢獄骨灰，延續於浩劫中期軍墾農場的漫漫苦役，深化於浩劫後期故鄉山屋的寂寞歲月，又回味於浩劫過後某些黑影的翻雲覆雨。幸好一九七八年嚴冬在北京召開的一次會議改變了中國，我也隨之獲得了生存的尊嚴。既然一切都來自於苦難，我問自己手中的筆：你還有什麼好害怕的呢？
我只擔心災難中的思考因過於憤怒而失之於偏激，便想從考察和閱讀中獲得更廣闊的時空印證。正是在這個過程中，我注意到了海外漢學界。那麼多高水平的專家學者早早地流落到海外各有原因，他們畢竟避過了接二連三的政治運動，有充裕的時間投入研究，而研究的方法又引入了國際學術標準，在科學性、宏觀性上遠超幹嘉學派的考據水平。但在十年前，國內學術界要了解他們的研究成果十分艱難，甚至直到今天，雖有一些專著流傳到大陸，仍然不易見到那些以散篇形式發表於專業雜誌間的各項具體研究。海內外研究成果積累得比較完整的是香港，於是我總是利用前去講學的機會在那裡貪婪補課。記得前不久一位曾經多次撰文批評《山居筆記》硬傷的先生直接給我來信，說又發現我的一處論述在國內某大學編印的資料上找不到根據。我回信感謝他來信探討之誠，並說明那項資料早已被海外學術界嚴密論證，詳細數據存香港中文大學圖書館庫房，答應下次去時複印一份送給他。香港中文大學在山上，我當時為了鑽研數據棲居一處設備簡單的集體宿舍叫曙光樓，因此有了山居的說法。
現在回想起來，寫作這本書的最大困難，不在立論之勇，不在跋涉之苦，也不在考證之煩，而在於要把深澀嶙峋的思考萃煉得平易可感，把玄奧細微的感觸釋放給更大的人群。這等於用手掌碾碎石塊，用體溫焐化堅冰，字字句句都要耗費難言的艱辛，而艱辛的結果卻是不能讓人感受到艱辛。
寫完這本書後，我又寫了一本人生隨筆，然後進入文化考察的又一個新階段，即驅車數萬公里逐一拜謁人類歷史上一切發生過重大影響的文明。一路歷盡危難，卻從未退縮，因為我在陌生的異國荒原上找到了返現中華文明的方位，時時校正著國內考察時的各種感悟。我把《山居筆記》的續篇，寫到了開羅的死城邊、耶路撒冷的小巷口、海灣和南亞沙塵覆蓋的大炮下。在那裡才明白，即便走遍中國也很難真正瞭解中國，因此經常與同行的夥伴們感嘆：不識廬山真面目，只緣身在此山中。
除臺灣爾雅版的繁體字版外，這本文匯版的簡體字版已印了三十五萬冊，我親自從讀者手裡買得的盜版本有十二種。經常看到有人在報刊上否認目前盜版的嚴重事實，批判反盜版是炒作，我便特地編撰了《盜版二十六例》置之《霜冷長河》精裝本卷首，其中選印了《山居筆記》的不同盜版本封面八種，使文化盜賊們無可抵賴。誰知這些年趁我遠行歷險，他們在國內鬧成一團，無非是想用誹謗遮蓋盜竊，連當年翻雲覆雨的黑影也拉出來了。對他們當然不能再用規勸的辦法，因此把本書初版的代序撤去，其它地方也有一些相應的改動。正該取笑他們沒有把手中的偷盜物細看一番：文明和邪惡不可混淆，歷史和法律不容侮弄，恰恰是本書的內容。（二○○一年十一月三日）