其實要談“文人畫之精神”，更可上溯到兩晉時期，如王廙的“畫乃吾自畫”和姚最的“不學為人，自娛而已”的藝術主張。
因文人畫，更能體現畫家獨立人格的抒發，是中國畫的一大進步。就官方來說，一個重要人物是宋徽宗，他設立的皇家畫院不像現在的畫院，他要求的是有詩情畫意的畫家，曾出題如“深山藏古寺”“竹鎖橋邊賣酒家”“踏花歸去馬蹄香”“野渡無人舟自橫”等，要考考畫家的思維，雖帶有遊戲性，但也給繪畫增添了畫外的難度。此後，不管是在朝的在野的，畫中對文的重視是文人畫家繞不過去的一個課題。
20世紀号召文藝須為工農兵服務，為政治服務，文人畫“自娛”的優勢就不能發揮了。在畫上題字題不好就會被上綱上線。傅抱石、李可染等一批畫家隻敢在畫上題毛主席詩詞或“泰山頂上一青松”“芙蓉國裡盡朝晖”等口号式的内容，我想他們不是不會題而是不敢題。改革開放以後，又受到西方文化的沖擊，中國畫形成了混亂的局面，吳冠中說：“畫就是畫，文字是文學的事。”一時重形式之風影響了很多年輕人。