去往下階段前，補叙一下之前太沖個人遭際的一些變故。那非用“多災多難”形容不可。
他自己不必說，一直都厄急連連。甲辰年（1664），為朋友陸周明作墓志銘，憶及這段光陰，說：“十年前，亦嘗從事于此，心枯力竭，不勝利害之糾纏，逃之深山以避相尋之急。”這裡的“此”，指“乃有儒者抱咫尺之義，其所行不得不出遊俠之途”，即抗清。這位陸周明，是他的同志，也是萬泰六子萬斯大嶽父，與太沖可謂通家之好太沖孫女嫁與萬斯大長兄斯年之子承勳。陸周明似乎也組建過自己的秘密抗清團隊，“其時周明與其客以十數見過，皆四方知名之士”，并掩護過太沖：
餘間至其城西田舍，複壁柳車，雜賓死友，咄嗟食辦。
複壁就是夾牆，古人造屋常預置夾牆，作為自家人才知道的隐秘之所，備不時之需。可以藏物；最著名的故事莫過于伏生藏書。他是濟南人，秦始皇時任博士。“秦時焚書，伏生壁藏之。”及嬴政下令焚書，他手下這個知識分子官員，卻因痛惜文明，陽奉陰違，将一批先秦典籍私藏于家中複壁。“其後大兵起，流亡。漢定，伏生求其書，亡數十篇，獨得二十九篇，即以教于齊、魯之間，學者由此頗能言《尚書》。”所以複壁曾經為保存中華文明立過大功。亦可以藏人；唐司馬貞索隐《史記·張耳陳餘列傳》“置廁”一詞：“置人于複壁中，謂之置廁，廁者隐側之處，因以為言也。”而柳車，就是喪車，裝死人的車子，王維《為楊郎中祭李員外文》：“悲《薤歌》之首路，哀柳車之就轍。”太沖“複壁柳車，雜賓死友”說的是，當時被陸周明掩護時，他曾和别人一道藏身于陸府夾壁中，甚至混迹喪車與死屍為友。可見是無所不至，而這僅為與陸周明交往中的一段經曆。
不光自己厄急連連，親友也頻遭不幸。
僅二弟宗炎表字晦木即兩度陷于囹圄。庚寅年（1650），清順治七年，“二叔父以連染被執，将罹大辟”，大辟即死刑，晦木已經被判了死刑。太沖“赤足行冰雪中，十指皆血”，四處奔走救弟。最後一幕相當驚險：
及行刑之日，旁傍晚始出，潛載死囚随之。既至法場，忽滅火，暗中有突出負先生指晦木去者，不知何許人也。及火至，以囚代之。冥行十裡，始息肩。忽入一室，則萬戶部履安白雲莊也，負之者即戶部子斯程萬泰次子也。鄞之諸遺民畢至，為先生解縛，置酒慰驚魂。
使的是掉包之計。從全祖望叙述得知，這是浙東地下抗清組織一次大的營救行動，發動了很多人。當萬斯程将晦木背負至甯波家中白雲莊時，當地重要遺民早已等候在那裡。而之前設計、出資及斡旋者，有萬泰、高旦中、馮道濟等。據黃百家，掉包計所以得逞，是地下組織買通滿清官員的結果，“得胡珠百顆，獻之大帥，得釋”。“忽滅火”“及火至，以囚代之”，都是事先講好的障眼法。
六年後，反清團體“慈水寨主”沈爾緒案發，晦木二次被捕：
未幾，侍郎馮京第故部複合先生，複與其事，慈湖寨主沈爾緒又寄帑焉。伯太沖叔黃宗會澤望二子交阻之不得。丙申，再遭名捕。伯子歎曰：“死矣！”故人朱湛侯、諸雅六救之而免。
又有多位親人先後病故。
最早是四弟宗轅，亦即太沖設法為之補了弟子員的司輿，死于1648年，時才二十七歲。1663年，三弟宗會澤望去世。1669年，最小的弟弟宗彜孝先亦卒。也就是說，到太沖六十歲為止，五兄弟已去其三，隻剩下太沖和晦木了。
太沖子孫當中，亦接連有亡故者。1655年，幼子阿壽夭折。翌年四月，次子正誼之媳孫氏卒；五月，夭折一孫。1666年，女孫阿迎死于天花。丙申年（1656）五月所作《子婦客死一孫又以痘殇》雲：
朅來四月疊三喪，咄咄書空怪欲狂。八口旅人将去半，十年亂世尚無央。不知負行緣何事，如此憂心得不傷！白日獨行城郭内，莽然墟墓覺凄涼。
接二連三失去親人，顯然是“亂世”飄零所緻。
這當中，最令太沖傷懷的，數幼子阿壽和女孫阿迎之夭。
阿壽生于（1651）年清順治八年，是年，太沖年四十二。或因得之中年，太沖“最鐘愛”。然而，此子甫五歲病亡。病因未确，太沖述起初為“病吐”，幾天後突然“厥逆”，似為傷寒病症。太沖說他極聰明，“三歲時，見圖書，餘語之曰：‘圓者《河圖》之數，方者《洛書》之文。’是後雜試之，即無差者。”每天纏着哥哥，給他講《夷堅志》，“一過之後，即能知其首尾”。故爾事後有人說“兒之所以夭者，用早慧者”，因為太聰明，活不長。在他短短五年生命中，太沖“食與兒同盤，寝與兒連床，出與兒攜手”，須臾不離。而又宅心仁善，原來喜歡捉小蟲子玩，太沖讓他别捉，說：好比兒在外遊玩，被人劫走，我想兒不想？“兒聞言雖不能割，有頃舍之，未有戕其生者。”阿壽死後，太沖思之極苦，屢有夢見，除圹志外，作詩多首，計有《至化安山送壽兒葬》《夢壽兒》《夢壽兒持兩杯盤置燭台上》《閏五月十六日夢壽兒》《初度夢壽兒》《上壽兒墓》《思壽兒》《寒食哭壽兒墓》《圓通寺夢壽兒》等，痛苦思緒持續五年以上。詩句如：“看書皆壽字，入夢契中陰。”《夢壽兒》：“久不夢兒今夜夢，醒來憶是汝生辰。”《夢壽兒持兩杯盤置燭台上》：“兒亡已是半年期，排豁悽怆未有時。”《閏五月十六日夢壽兒》：“阿壽亡來三百日，更無一日不凄然。”《上壽兒墓》：“去年記得嬌兒在，一日相呼有百回。”《思壽兒》：“小墳兩度逢寒食，始得紙錢挂樹傍。”《寒食哭壽兒墓》：“五年生魂十歲骸，夢中依舊在親懷。”《圓通寺夢壽兒》……睹之令人淚不能禁。
女孫阿迎，為次子正誼所生，母虞氏。前曾講正誼之妻孫氏丙申年（1656）病故，虞氏應是續弦。續弦之後，阿迎遂于庚子年（1660）十二月誕生。出生後，阿迎一直住母親上虞娘家，壬寅年（1662）兩歲多來到太沖身邊。太沖時有詩：
莺舌初調學話新，牽衣索抱喚頻頻。七年阿壽無蹤迹，見汝眉頭又一伸。
阿壽夭折之痛，因阿迎到來，終得纾解和轉移。亦可見對阿迎之愛，多少寓存或延續着對阿壽的思念。太沖甚至認為：“阿迎為壽兒之重來無疑也。”覺得阿迎就是壽兒的轉世。他回憶阿迎出生那年，其方遊廬山，在圓通寺夢見阿壽，“歸家而阿迎生矣”；更奇的是，阿迎一生下來，太沖“自此遂不複夢見壽兒”。
太沖說：“餘甚愛之。”爺孫感情甚笃。當時太沖在語溪教書，“二三年來，餘糊口吳中，朝夕念兒，兒亦朝夕念餘”，每次太沖歸來，阿迎都攀坐膝上，“挽須勞苦，曲折家中碎事以告”，以緻家中有什麼事不想讓太沖知道的，首先就得對阿迎保密，“恐其漏于吾也”。阿迎說她想爺爺，讓爺爺待在家裡，别出門；太沖說爺爺不出去掙錢，阿迎沒糖果吃了，“兒曰：‘爺在，兒亦不願果餌也。’”太沖說：“其在左右，灑然不知愁之去體也。”隻要阿迎在，一切憂愁都煙消雲散。
然而阿迎偏偏又命薄。丙午年（1666）紹興一帶天花流行。當年十二月初七，也即阿迎七歲生日那天，晚上突然發病，“至二十日而殇”。死後三天埋葬，太沖寫道：“寒風歲盡，冰雪滿山，與葬壽兒時日風景秋毫無異也。”阿壽也死在十二月乙未年除夕，兩個孩子之間太多相似，确有不可解處。難怪太沖長歎：“嗚呼！以餘之愚，何煩造化之巧弄如此哉！”他寫詩道：
老來觸事盡無聊，兒女溫存破寂寥。阿壽五年迎七載，如何也算福難消？
十二年中已再世，重翻舊恨作新愁。兩行清淚無多重，流到前痕竟不流。
阿壽享年五歲，阿迎七歲，加起來十二年。十二年，太沖不單是接連失去兒孫，分明還有随着自己老去而益感珍惜慰藉的童心稚氣。有人勸他勿過悲傷：“區區女孫，無庸過戚。”畢竟隻是一個孫女，又非男孩。太沖答曰：“餘賦性柔慈，朋友一言噓沫，夢寐曆然，兒之親吾如是，雖欲忘情，其可得乎？”
這年太沖五十七歲。後來他對阿迎的思念，曆二十年未減。丁卯年（1687）他為紀阿迎墓上“生石楠一株高丈餘”而寫詩句：“掌珠一夕堕黃泉，荏苒于今二十年。”
兄弟子孫外，失去的還有幾位好友。劉應期瑞當，1648年卒；萬泰履安，1657年卒；沈士柱昆銅，1659年卒；錢謙益牧齋，1664年卒，都于這段時間謝世。
其他磨難尚有：丙申年，太沖弟兄四人此時宗轅已殁一齊遭“山兵”綁架，扣在石井這個地方，後僥幸脫身。壬寅年，其化安山居處龍虎山堂二月火災，五月，黃竹浦老宅又失火。二月祝融，太沖還曾慶幸：“故書出焰中，葉葉葉如荷田。惜此複幸此，不廢食與眠。”書雖然灼烤變形，好在還能用。及五月再遇一火，他也不禁詫于自己何運蹇如是：
局促返舊居，雞犬共一軒。縮頭床下雨，眯眼竈中燔。南風多怪事，正當子夜前。排牆得生命，再拜告九圓。臣年已五十，否極不終還。發言多冒人，舉足辄違失……
舊居即黃竹浦，着實破舊得可以，下雨得躲到床下，做飯要眯着眼睛吹火。火起正當半夜，不知如何而發。太沖不由怨怪老天，說自己已半百，卻否極而不泰來，說句話就得罪、舉手投足都有閃失……
也許他該用孟夫子的話激勵自己：“故天将降大任于斯人也，必先苦其心志，勞其筋骨，餓其體膚，空乏其身，行拂亂其所為，所以動心忍性，增益其所不能。”這是老天在磨煉人，“然後知生于憂患而死于安樂也”。