梨洲性格或看問題上的偏與執，終于惹出了他一生人際關系中不堪的一幕——與呂留良反目。一個巴掌拍不響，此事想必并不簡單，呂留良那邊必也有其原因或責任，但此刻我們多從梨洲這邊做檢讨，畢竟他在不少事情上顯出了為人的不足，換成另外一個人，也許就不至于此。另外，不光呂、黃之間，以他們共同的友好來看，也是梨洲和别人鬧得不愉快；這當中，除了高旦中，連自己親弟弟晦木最後也不太能夠接受他，而感情疏遠。
梨洲與晚村初遇，在1660年。是年，梨洲年五十一。他們的相會，是梨洲二弟晦木黃宗炎引見。晚村鄭重地寫了一篇《友硯堂記》，作為紀念：
己亥（1659），遇餘姚黃晦木。童時曾識之季臣兄坐上，拜之東寺僧寮，蓋十八年矣。當崇祯間，晦木兄弟三人，以忠端公後，又皆負奇博學，東林前輩皆加敬禮，所與遊者負重名，如梅朗三、劉伯宗、沈昆銅、吳次尾、沈眉山、陸文虎、萬履安、王玄趾、魏子一者，離離不數人，天下鹹慕重之，一二新進名士欲遊其門不可得，至有被謾罵去者。既亂，諸子皆亡略盡，而晦木氣浩岸如故，後起不知淵源，習俗變壞，益畏遠之，然晦木固不能一日無友者，左右前後顧則索然爾矣。于是得予，則喜曰：“是可為吾友。”晦木求友之急至此，蓋可悲矣。晦木性亦嗜研硯，時端州适開水坑，同邑有官于粵者，予從購石十餘枚，與晦木品其高下。晦木又喜以為有同好也，謂予曰：“予兄及弟子所知也，有鄞高旦中者。此非天下之友也，而予兄弟之友也。”戊子（1660），遂與旦中來，其秋，太沖先生亦以晦木言，會予于孤山。晦木、旦中曰：“何如？”太沖曰：“斯可矣。”予謝不敢為友，固命之。因各以研贈予，從予嗜也。其研，有出自梅朗三、陸文虎、萬履安者。
晚村追述說，最早見到晦木還在十八年前，時僅一拜，算不上結交。1659年重新遇到，情況有些不同；“既亂”亦即國亡後，黃氏兄弟舊友“皆亡略盡”，眼下“習俗變壞”，把他們看成危險人物而對“畏遠之”黃宗炎曾被捕險死，身邊已經很少朋友。在此情形下，晚村表示願意成為朋友。交往一年後，晦木認為晚村可以信任，先介紹他認識高旦中，秋天又引見給梨洲時梨洲遊匡廬經杭州歸，地點便在如今西湖景區中央的孤山。見面過程頗可玩味，“何如？”“斯可矣。”似乎請梨洲鑒其人品，晚村心中或許稍感别扭，故有“謝不敢為友”的表示，但梨洲随後态度是熱情的，他和晦木、旦中各贈一硯，原主人俱為一時名節之士，轉贈晚村，是很重的友情。
這四友，晚村與晦木、旦中始終是至死之交，獨與梨洲反目。
在呂晚村，與黃氏兄弟交往促成了他思想上的大覺醒。明亡後，晚村雖然也有抗清的活動和表現，但他在（1653）年順治十年應試，考取了清朝的邑庠生，同時投入很多時間在“選文”類似科舉考試教輔參考書的工作上。這些行為都是糊塗的，帶有承認清朝統治的意味。現在他幡然悔悟，替自己羞恥，決心與往事決裂，寫下著名的七言詩：
誰教失腳下漁矶？心迹年年處處違。雅集圖中衣帽改，黨人碑裡姓名非。苟全始識譚何易，餓死今知事最微。醒便行吟埋亦可，無慚尺布裹頭歸！
視參加清朝科舉為失足，“醒便行吟”是說現在終于覺醒了，從此高舉民族大義。1666年，生員考試前夕，晚村造訪縣學教谕陳執齋寓所，當面出示以上之詩，“告以将棄諸生”，宣布放棄秀才身份、拒絕清政府的出身：
執齋始愕眙不得應，既而聞其衷曲本末，乃起揖曰：“此真古人所難，但恨向日知君未識君耳！”于是诘旦傳唱考試前點名，先君不複入，遂以學法除名，一郡大，親知無不奔問徬徨，為之氣短，而先君方怡然自快。
睌村從1661年起，也即與梨洲會面的第二年，洗手選事，在家鄉語溪呂氏梅花閣，集本族童子教學，“隻教童子不教求舉業的人”，從娃娃抓起，讓他們學習做人的道理，而非考試做官的技能。這既有反清的政治含義，也是教育學實驗。晚村一直堅持這樣的教育方針，以後，也是在這一點上，與梨洲存在根本的分歧。
起初，他們思想相當和諧，交往也十分密切。1662年，梨洲在舊著《留書》基礎上，重寫新書，也即不朽的《明夷待訪錄》。錢穆認為，呂、黃就此書必有交流：“《待訪錄》成于康熙壬寅、癸卯間，而癸卯梨洲至語溪，館于晚村家。蓋當時交遊議論之所及，必有至于是者。故梨洲著之于《待訪錄》，而晚村則見之《四書講義》。其後三年丙午，晚村則決意棄諸生，不複應試。然則此數年間，梨洲、晚村之交誼，其思想議論之互為助益，必甚大矣。”
而交往頻密的一個更大由頭，是晚村邀梨洲參與他的教育改革。1663年春，“四月，至語溪，館于呂氏梅花閣。”這是《黃宗羲年譜》中梨洲從教的第一筆記載，因而說起來，梨洲的授徒生涯還由晚村啟之。自此以迄1666年，梨洲連續四年在梅花閣任教。這件事，前已約略講到。當時，梨洲結束“遊俠”生涯，回歸正常的社會狀态，因而需要謀生和養家，卻又沒有适合的生計。梅花閣教席，恐怕是梨洲獲取一定收入的較好途徑。晚村聘請梨洲，為呂氏宗族子弟延緻良師無疑是動機之一，而作為合理的推測，未必沒有在梨洲窘迫時助他一臂之力的考慮。梨洲的現實畢竟擺在那裡，沒有家業，沒有工作，也沒有更多可自給的技能，做西席簡直是他自食其力而不失尊嚴的唯一之選。當然，從梨洲角度來說，受此教席，大概也純粹出于“稻粱”之謀，否則以他的學問和智識，僅僅教授幾個童蒙初開的孩子，顯然沒有什麼成就感可言，我們前面引了他懷念女孫阿迎的一些詩文，就流露出對這份工作的不滿足情緒。
不管怎麼說，1663、1664、1665、1666四年，梨洲必至語溪。兩人年年相會，不光教書，還一起唱和、訪友，從各種材料看，一直并沒有明顯的龃龉。
突變發生在丁未年1667。本年，晚村《夢覺集》有詩《問燕》雲：
從來期汝二月天，杏花雨點楊花煙。朝窗夕窗相對語，不與俗物相周旋。哺食唶華同護惜，點茵汙帽恣狼藉。寒堂無伴老影孤，滿眼春風慰蕭寂。何圖今歲得彫梁，翻然一飽成飛飏。老巢當位占高棟，群雛分戶泥生香。汝居得所我亦喜，何子不複相過語。呢喃聞汝向雕梁，咒盡窮檐不堪處。寄聲留取當時面，黃姑織女猶相見。雕梁久住過窮檐，尚有突栾窠一片。我聞人苦不知足，天下雕梁難更仆。明年莫更繞天飛，又咒華堂當茅屋。
晚村弟子嚴鴻逵，将該詩連同另外二首一起作注曰：
此以下三詩皆為太沖作也。凡浙東之館浙西者，皆必以二月到館，又其輕薄情事者有與燕适相類者，故借以為喻。蓋自丙午子（指晚村）棄諸生，太沖次年便去，而館于甯波姜定庵家，所以誣诋子者無所不至。此《問燕》《燕答》之所為作也。
慣例，浙東塾師去浙西任教，每年正月過後即應到館。看來，梨洲的不赴語溪，竟是不辭而别。晚村過完二月，苦等到杏花開楊絮飛時節，仍無消息，後才輾轉聽說梨洲另有高就，故曰：“汝居得所我亦喜，何子不複相過語”——你不來也罷，怎麼連個招呼也不打一聲呢？兩人關系之僵，可得而知。
所謂梨洲另有高就是什麼？按嚴鴻逵所說，呂晚村聽見這樣的消息：“太沖次年便去，而館于甯波姜定庵家”。這裡，“次年”便即丁未年，館于甯波姜定庵家即梨洲不來語溪是因轉到了姜府做家庭教師。這姜定庵前面講過，便是助梨洲恢複紹興證人書院的待職在家的姜希轍。然而，我們不論查黃炳垕《黃宗羲年譜》、黃百家《行略》、邵廷采黃傳、全祖望神道碑以及梨洲本人詩文，于嘗館姜府之事均無獲焉。尤其梨洲專門寫的《姜定庵先生小傳》一文，也未提及任教姜家之事，隻說“……老而師友俱盡，往往忍饑誦經，其間可以緩急告者，唯徐果亭即徐秉義與先生二人”，“可以緩急告者”是求助、求援的意思，應指受過姜氏赍助。再有，嚴鴻逵“甯波姜定庵家”連地點也搞錯了，姜希轍家在紹興而非甯波。梨洲為其所作小傳言之頗明：“先生歸為鄉邦領袖，越中喪亂之後，人不說學……”越為紹興古稱之一；《清史稿》姜希轍傳寫得也頗清楚：“姜希轍，字二濱，浙江會稽人”，“康熙元年，考滿，内升，回籍待缺”，會稽即紹興，姜自1662年起回鄉待缺；另外，梨洲與姜希轍一起在紹興恢複證人書院，也是旁證。由此來看，嚴鴻逵實際是呂留良所謂梨洲不赴呂氏梅花閣乃因改館姜家這個說法，恐怕得之耳食，而且這傳言本身水分還比較大，但他們當時完全相信。
他們對傳言信而不疑，與心态有關。他們憤然地斷定梨洲是另揀高枝，一再以“雕梁”譏诋其事，自比“窮檐”，此其一。其二，還要注意“蓋自丙午子棄諸生，太沖次年便去……”這一句，呂留良造訪縣學教谕陳執齋，當面宣布放棄諸生身份，正在1666年，“次年便去”雲雲，強烈地懷疑梨洲棄語溪而不回，是因晚村做出這激烈之舉後，梨洲産生避嫌或“劃清界限”的想法，從這個懷疑進而來看梨洲“館于甯波姜定庵家”，就不光是攀高枝，更有一種“投靠”意味，因為姜希轍是清朝回籍待缺的官員。
矛盾接二連三地爆發。是年，呂有《與黃太沖書》，說夏天見到萬言的時候，曾請他捎信“數行相候”；随後高旦中來，“得近況而無字”，總之自己的信函毫無回音。然而據另外一個來自紹興的人說，“太沖有《與呂用晦書》，淋漓切直，不愧良友。而某竟未之見，何也？”“後問旦中，則曰：‘誠有之，不過責善意耳。’某于是浩歎，謂太沖其果不知某者也。茫茫宇宙，何處無流輩，顧數年以來，竭情盡慎，隻此數人，若将終身焉者。豈果相藉為标榜哉？誠望切磨之益，使得聞其過，則日遷于高明之域無難也。太沖有責善之言，正某之所欲聞，奈何書成而不一示之耶！”他聽說梨洲寫了回信，卻沒有發出；問高旦中，經證實确有此信，内容是對自己的批評。得知如此，呂留良明顯激動起來，語帶譏諷，說幾年以來自己待梨洲“竭情盡慎”，仿佛委以終身，莫非梨洲以為自己之如此，目的是傍名人、博取虛譽？自己原本就是為得一可以切磨、時時聞過的诤友，你的批評正乃我所需要的，為什麼寫下了卻又吝于一示呢？信的最後再次敦促：“千萬錄示，以卒餘教。”“餘教”雲雲，顯然暗示兩人交緣已盡。
梨洲此信，終于未向晚村“錄示”，甚至從世間蒸發。不但《南雷》各集未錄，至今也從來無所發現，可以說杳無蹤迹。想必梨洲在世的時候已親手将它銷毀了。兩人恩斷義絕也如此，信中又究竟說了怎樣不堪的話，實令人萬般好奇。這封《與呂用晦書》，呂留良雖未親睹，但經人轉述，也知其大略。它抑或關于它的傳言，對呂、黃最終絕交，似乎起到一個一舉成定局的作用。時人有曰：“東莊所以怨梨洲者，以梨洲曾有書數其失。”
前面還曾提到，也是這一年，由姜希轍出資、梨洲擔綱裁定相當于今之“主編”，編刻《劉宗周遺書》；這件事居然也有呂、黃結怨的背景。《呂留良年譜長編》一則材料說：
晚村欲刻劉蕺山遺書，緻刻費三百金。先生指梨洲受金不刻，而嗾姜定庵刻之，坿晚村名于後。晚村愠先生甚。
按此說法，《劉宗周遺書》原出資人是呂晚村，梨洲先已從他那裡拿到了三百兩刻費，卻又另找姜希轍出資，讓他享受《劉宗周遺書》出版人的名譽，而呂所出三百兩并未退還，隻将呂的名字以“後學”身份列在校勘者中間。有些細節，頗乏旁證，但呂、黃嫌隙與《劉宗周遺書》有關，是确實的。呂《後耦耕詩》中有一名“青火竹窗謄副本，白頭蘭幕出新書”，便指此事；嚴鴻逵注曰：“此專為太沖作也……是年又館于甯波姜希轍家，悉出其所手錄書以求媚”，“手錄書”即梨洲所謄錄的劉宗周遺著，他把它交給了姜希轍。
呂、黃的矛盾，又似乎還涉及思想門派。呂是宗奉朱子的，梨洲和他老師劉宗周卻是王學一脈。中晚明以來，王學占了很大優勢，但随着亡國，王學多少也有點“亡國文化”的意思，朱學的勢力有所起來。梁啟超說：“清初因王學反動的結果，許多學者走到程朱一路”，而滿清官方也來插一杠子，自聖祖起提倡朱學，原因梁啟超也有分析：“他們向慕漢化，想找些漢人供奔走，看見科第出身的人便認為有學問……清初那幾位皇帝，所看見的都是這些人，當然認為這種學問便是漢族文化的代表。程朱學派變成當時宮廷信仰的中心，其原因在此。”總之，朱、王之間不僅有門戶，在現實運數上也是消長的。晚村和梨洲，分别作為朱學門徒和王學門徒，盡管在政治現實和反清問題上引為同志，學術及思想總是别有根柢，不知會不會使他們日久生出相輕。這方面沒有太多直接的材料，不過，梨洲不赴語溪館學之後，晚村虛席二載，堅持等候當世朱學大師張履祥到來，卻明顯說明了他的思想傾向。他曾托人向張履祥表示：“考夫先生一日不來，這裡仍可虛席。”後來，與張通信時又說了這樣的話：“某竊不揣，謂‘救正之道，必從朱子；求朱子之學，必于《近思錄》始’。又竊謂‘朱子于先儒所定聖人例内，的是頭等聖人，不落第二等’，又竊謂‘凡朱子之書，有大醇而無小疵，當笃信死守而不可妄置疑鑿于其間’。此數端者自幼抱之……今讀手劄，所教正學淵源，漆燈如炬，又自喜瓦聲葉響，上應黃鐘，志趣益堅，已荷鞭策不小矣。”他對朱子這麼熱切，稱自己這番信念之于張履祥是“瓦聲葉響，上應黃鐘”，反推之，與梨洲在理念上一定缺乏共鳴，反倒可能時時相排斥吧？
進一步探其源緒，發現最初裂痕可能出在1666年，亦即梨洲館于語溪的最後一年。
先來看梨洲《天一閣藏書記》一段叙述：
祁氏曠園之書，初庋家中，不甚發視。餘每借觀，惟德公知其首尾，按目錄而取之，俄頃即得。亂後遷至化鹿寺，往往散見市肆。丙午，餘與書賈入山翻閱三晝夜。餘載十捆而出，經學近百種，稗官百十冊，而宋元文集已無存者。途中又為書賈竊去衛湜《禮記集說》、《東都事略》。山中所存，唯舉業講章各省志書，尚二大櫥也。
“祁氏”，即紹興祁家，世代書香，藏書極豐且精，“曠園”或稱“曠亭”即其藏書處。梨洲《思舊錄》曾記昔年在祁彪佳書房的見聞：
入公書室，朱紅小榻數十張，頓放書籍，每本皆有牙簽，風過铿然。公知餘好書，以為佳否，餘曰：“此等書皆阊門市肆所有，腰纏數百金，便可一時暴富。唯夷度先生公之父所積，真希世之寶也。”
夷度先生，即祁彪佳之父祁承爜，晚明數得着的大藏書家。從中可見，梨洲對祁氏“曠園”心儀已久。明亡，祁彪佳殉國，其子等又因牽連抗清，或死或放，祁家由是散渙，藏書暫存化鹿寺在紹興若耶山，若耶山又名化鹿山，準備低價處理。
《天一閣藏書記》的講述，提供了時間丙午即1666年，而更多重要背景和情節則略去。集諸家之述如下。陸隴其《三魚堂日記》：
黃梨洲……嘗為東莊買舊書于紹興，多以善本自與。
沈冰壺《黃梨洲小傳》：
相傳晚村以金托先生買祁氏藏書，先生擇其奇秘難得者自買，而以其餘緻晚村，晚村怒。
全祖望《小山堂藏書記》：
曠園之書，其精華歸于南雷，其奇零歸于石門。
得概況三：一、梨洲購書系與晚村合夥；二、資金主要出自晚村；三、梨洲将所購中的好書歸己，留給晚村的都沒有什麼價值。
全氏另一記述最詳盡：
嗚呼，吾聞淡生堂，書初出也，其啟争端多矣。初南雷黃公講學石門，其時用晦父子，俱北面執經。已而以三千金求購淡生堂書，南雷亦以束修之入參焉。交易既畢，用晦之使者，中途竊南雷所取衛湜《禮記集說》、王偁《東都事略》以去，則用晦所授意也。南雷大怒，絕其通門之籍。用晦亦遂反而操戈，而妄自托于建安之徒，力攻新建……然用晦所藉之購書之金，又不出自己，而出之同裡吳君孟舉。及購至，取其精者，以其餘歸之孟舉，于是孟舉亦與之絕。
淡生堂是曠園藏書樓。把以上過程歸納起來即：晚村出資三千兩、梨洲則以梅花閣教書薪水入股，共購淡生堂藏書；晚村本人未去，委派他人與梨洲同往；交易結束，歸途之中，晚村顯然得到報告梨洲把好書都據為己有，乃令所委托者從梨洲那裡偷走了兩種宋版書（衛湜、王偁為兩宋學者），也即梨洲《天一閣藏書記》所說“途中又為書賈竊去衛湜《禮記集說》、《東都事略》”，彼此就此撕破臉皮。按照這裡的說法，連晚村崇朱斥王“建安”（即今福建建瓯），朱熹幼随父遷建安，後又在建安書院講學，因以“建安”指朱熹；“新建”指王陽明，以其受封新建伯都起自與梨洲這次的過節。更奇的是後面又說，晚村那三千兩也非自己的錢，而屬同鄉好友吳之振（表字孟舉），晚村用梨洲對待他的辦法對待吳，又導緻後者與之絕交。
事情真可謂波瀾疊起。然而全氏之述未可盡信，例如呂留良與吳之振交惡，其事固有，原因卻未必是淡生堂購書風波，《呂留良年譜長編》作者卞僧慧借别的資料考證認為，呂、吳疏遠經過與全祖望所說“殊不相應。其事恐非如祖望所雲者矣。”另外，所謂“用晦父子，俱北面執經”即都曾以弟子事梨洲之說，學者也多不認同，覺得他們之間隻是友人關系。全氏乃梨洲私淑弟子，他的講述帶點傾向性，大概不足為奇。
但基本事實應可确定：呂、黃共同購書，梨洲趁機占了很大便宜。這種行為，品質方面自是瑕疵。但其由來，則因癡愛書籍所緻。且這兩個人，同為嗜書如命的書癡。梨洲愛書，前面已有各種故事；晚村也是毫不遜色，後來他生活幾乎揭不開鍋，卻遠赴南京等地“淘書”，曾在與人書信中稱：“某荒村腐子，生長喪亂患難之中，颠踣失學，今年四十又五矣。發齒敗堕，志業不加進，本末無足觀，挑燈顧影，辄自悲惋耳，又何雲哉！自來喜讀宋人書，爬羅繕買，積有卷帙。又得同志吳孟舉互相收拾，目前略備。因念其為物難取而易散，又宋人久為世所厭薄，即有好事者，亦揀廟燒香已耳。再經變故，其澌滅盡絕，必自宋人書始。今幸于吾一聚焉，不有以備之流傳之，則古人心血，實澌滅自我矣。”又有詩句吟其戀書癖：“檢書摩印識，灑酒酹花叢。”惜之如花。設若兩人當中如有一人，愛書尚不及癡，事情或不至于起，即便事起，怨啣可能也不會結得這麼深。
然而，此事在反目過程中的分量，雙方似乎都并不看重。梨洲對與呂留良交惡經過基本避談，《與呂用晦書》本來必有線索，可惜徹底亡佚，《天一閣藏書記》叙述了這件事，卻完全隐去呂的姓名。呂留良倒是留下好些有關的書信和詩篇，但也鮮涉購書風波。他談得最多的，是梨洲“大節”上的問題，比如巴結權貴、讨好現政權。除前所引過的，《後耦耕詩》還有一首《燕答》，後半部分對梨洲的指責性暗示，可謂不堪：
投林擇深木擇榮，安能郁郁久居此。況君避世益荒寒，庭院無多簾箔單。瘦圃無花銜不得，破巢欲補秋泥乾。昨夜侯家歌吹發，先放雙飛入珠幕。貴人頭上坐聽看，羨殺籠鹦與屏雀。老來愛雛過愛身，常恐失足尋常人。新巢喜得依王謝，千門萬戶終不貧。自古惡賓勝舊友，世情如是君知否。
而筆者總是懷疑，呂、黃交惡真相可能不在“大節”，偏偏在“小節”。事情頭緒好像很多，前面我們涉及了不下四五個方面，諸如待友刻薄、攀高枝、向現實投降、毀約不告、話不當面卻背後潑污等，似乎都關乎品格德行。但是逐一看下來并理其頭緒，筆者個人能夠認定的起因，就是購書風波，而這件事他們好像卻心照不宣，都低調待之，誰也不大書特書。何欤？一個比較合理的解釋是，事情本身僅關私利，雙方所争者“利”耳，且可能各有苦衷，在其中都無高風亮節可談，故不約而同加以淡化，轉而以拿得出的“大節”批評對方。生活中也常如此，很多問題其實不出在“大節”而出在“小節”，但互诋者都喜歡高調談論“大節”；那是因為，“大節”既更容易擊倒對方，同時又能掩護好自己“小節”上的缺失。
當世這樣兩個優秀的思想者，從熱烈的鳴和陷入如此怨恨之中，我們為之惋惜。然而也不一定非要痛心疾首，以緻覺得裡面某一個人人格上失去了光環。曆史上，傑出人物之間交惡失和的例子，不勝枚舉，比如盧梭和狄德羅。并不是說凡我們景仰的人彼此就隻能相敬相愛，也不是說他們不能相敬相愛就使我們應該懷疑誰的品質。第一，人非聖賢，這樣那樣的雜質總是難免；第二，個人恩怨這類事情常常并無道理好講，有的時候就是性情、心氣兒而已。
但晚村對梨洲的種種指責，于後人還是發生了極大影響，尤其在梨洲“媚時”、結交權貴這個問題上。