在我国，写字的书法，图形的绘脚，结双成对，习称“书画”。东汉灵帝时，蔡邕奏文中就有“书画辞赋”一语（《后汉书蔡邕传》)，将“书画”与“辞赋”一并视为“聊以游意”之艺。

古代儒士有学艺的传统。儒生具备的礼、乐、射、御、书、数六种基本能力，名曰“六艺”（《周礼保氏》)，其中有“书”无“画”。绘画之事，备于百工，故不为儒士所重。汉晋之际，一些士族书家如蔡邕、荀勖、王廙、王献之，皆善画。晋明帝司马绍，曾向王廙学画。《世说新语》巧艺篇第六记载：东晋时，戴逵不远千里往豫章从师范宣，“范（宣）读书亦读书，范（宣）抄书亦抄书。唯独好画，范（宣）以为无用，不宜劳思于此。戴（逵）乃画《南郡赋》图，范（宣）看毕咨嗟，甚以为有益，始重画”。范宣是东晋名儒，精通《三礼》，他对绘画态度的转变，是那时士人才艺观念变化的一个例证。魏晋以来，画艺与琴、棋一样得到士人的重视，士族书家兼善绘画者渐多，似是古来相传的“六艺”仍然居有正统的地位，书法名家多是士人，所以“书”之地位高于“画”。

唐朝张彦远《历代名画记》论画，屡屡以“画”比“书”。为了强调绘画与文字、书法相通，同样重要，张氏提出了“书画同体”和“书画用笔同法”的著名论断。后来流行的“书画同源”的说法，就是从张彦远的论断演绎而来。

从书学一面看，书论家极少涉及“书画同源”的话题。书家说及书法的源头，言必称仓颉造字。谈到文字的起源，则远溯上古伏羲所作八卦，南朝书论家虞龢所谓“爻画既肇，文字载兴”（《论书表》)，元朝书论家郑杓所谓“八卦兴而书契肇”。

高建平指出：关于“书”与“画”具有共同的源头的言论，在历代画论著作中到处可以见到。他们将此当作历史事实来叙述，并从中引申出许多艺术方面的道理。一般来说，“书画同源”基本上是一种画论和画史家的说法（《“书画同源”之源》，载《中国学术》总第11辑，第261页、270页）。