书院之名最早见于唐代。
唐开元五年（公元717年），玄宗选拔饱学之士二十名，于东都洛阳设乾元修书院，用以编校书籍；次年，将乾元修书院改名为丽正书院，增设检校官，并改封修书官为丽正殿直学士。这是书院之名，见于正史的最早记载。
不过这唐朝的丽正书院，尚不同于后来的书院，它其实只是个官方的修书机构，其功能主要是收藏、整理与编校典籍，相当于我们今天的古籍整理编辑部门。袁枚在《随园随笔》中说：“书院之名，起于唐玄宗之时，丽正书院、集贤书院皆建于省外，为修书之地。”
自此之后，民间的一些藏书机构，也开始称书院，例如邺侯书院。
邺侯是唐代名相李泌的封号。安史之乱平息后，立了大功的李泌向朝廷请求退隐衡山，唐肃宗答应，赐给他隐士的衣服，派人在衡山烟霞峰下给他修了座宅院。
李泌好读书，有大量的藏书，他来到衡山后，专门修数间石室做自己的书房，取名端居室。李泌去世后，他的儿子李繁在衡山建一个藏书的场所纪念他，取名南岳书院，又称邺侯书院。韩愈后来写诗赞其藏书之盛说：“邺侯家多书，插架三万轴。”（《送诸葛觉往随州读书》）
这类最初的书院，不过徒具其名，还算不上真正意义上的书院。我们后世所说的书院，藏书只是其附助功能，讲学与研学才是它的主业。
从讲学与研学的角度看，书院的真身，其实可以追溯到战国时代或汉代，它有官方与民间两条线。
从官方这条线上看，书院的前身是学宫，其源可以追溯到齐国的稷下学宫。稷下学宫是一个开放的学术交流与研讨机构，它虽在体制内，却不同于体制内的一般学术研究机构，也不同于一般的体制内学校。
学宫有三个特点，一是以讲习与研讨学术为业；二是对外保持开放性；三是教与学相对比较自由。
在唐代，有学宫直接转化为书院的例子。唐德宗贞元十五年(799)前后，张九宗任遂州刺史。他到任后，见遂州学宫废圮，便倡议修复。修复之后，不再称学宫，而是称书院，这就是后世有名的张九宗书院，或称书台书院。
书院另一前身，可以追溯到汉代，称精舍或精庐。
精舍一词最早见于《管子.内业篇》：“定心在中，耳目聪明，四肢坚固，可以为精舍。”唐人尹知章注：“心者，精之所舍。”由此可见，精舍指心灵所居之所，亦即现代人所说的精神家园。
在汉代，学者私人读书的地方，是书房；书房若对外开放，招收门徒，讲授学术，那就是精舍。《后汉书·刘淑传》载：“淑少学明《五经》，遂隐居，立精舍讲授，诸生常数百人。”
精舍虽是民间学堂性质，却不同于私塾。私塾走的是基础教育的路子，有大致统一的教程与方法；而精舍不是，精舍以研学为主，教与学的方式、方法都比较自由，相当于私人大学。它类似于古希腊的柏拉图学院，只是柏拉图学院以几何学为特色，而中国的精舍主要以研习“经学”为主旨。
宋代时朱子热衷书院教育，他创建的书院初时便多称为精舍，如寒泉精舍、武夷精舍、竹林精舍等。
总结一下：书院表面上起源于唐朝，完善兴盛于宋朝，但实际上其前身可以追溯到秦汉之前，甚至可以把孔子在洙泗之间讲学的场所，视为中国最早的书院。
