書院之名最早見於唐代。
唐開元五年（公元717年），玄宗選拔飽學之士二十名，於東都洛陽設乾元修書院，用以編校書籍；次年，將乾元修書院改名為麗正書院，增設檢校官，並改封修書官為麗正殿直學士。這是書院之名，見於正史的最早記載。
不過這唐朝的麗正書院，尚不同於後來的書院，它其實只是個官方的修書機構，其功能主要是收藏、整理與編校典籍，相當於我們今天的古籍整理編輯部門。袁枚在《隨園隨筆》中說：“書院之名，起於唐玄宗之時，麗正書院、集賢書院皆建於省外，為修書之地。”
自此之後，民間的一些藏書機構，也開始稱書院，例如鄴侯書院。
鄴侯是唐代名相李泌的封號。安史之亂平息後，立了大功的李泌向朝廷請求退隱衡山，唐肅宗答應，賜給他隱士的衣服，派人在衡山煙霞峰下給他修了座宅院。
李泌好讀書，有大量的藏書，他來到衡山後，專門修數間石室做自己的書房，取名端居室。李泌去世後，他的兒子李繁在衡山建一個藏書的場所紀念他，取名南嶽書院，又稱鄴侯書院。韓愈後來寫詩讚其藏書之盛說：“鄴侯家多書，插架三萬軸。”（《送諸葛覺往隨州讀書》）
這類最初的書院，不過徒具其名，還算不上真正意義上的書院。我們後世所說的書院，藏書只是其附助功能，講學與研學才是它的主業。
從講學與研學的角度看，書院的真身，其實可以追溯到戰國時代或漢代，它有官方與民間兩條線。
從官方這條線上看，書院的前身是學宮，其源可以追溯到齊國的稷下學宮。稷下學宮是一個開放的學術交流與研討機構，它雖在體制內，卻不同於體制內的一般學術研究機構，也不同於一般的體制內學校。
學宮有三個特點，一是以講習與研討學術為業；二是對外保持開放性；三是教與學相對比較自由。
在唐代，有學宮直接轉化為書院的例子。唐德宗貞元十五年(799)前後，張九宗任遂州刺史。他到任後，見遂州學宮廢圮，便倡議修復。修復之後，不再稱學宮，而是稱書院，這就是後世有名的張九宗書院，或稱書檯書院。
書院另一前身，可以追溯到漢代，稱精舍或精廬。
精舍一詞最早見於《管子.內業篇》：“定心在中，耳目聰明，四肢堅固，可以為精舍。”唐人尹知章注：“心者，精之所舍。”由此可見，精舍指心靈所居之所，亦即現代人所說的精神家園。
在漢代，學者私人讀書的地方，是書房；書房若對外開放，招收門徒，講授學術，那就是精舍。《後漢書·劉淑傳》載：“淑少學明《五經》，遂隱居，立精舍講授，諸生常數百人。”
精舍雖是民間學堂性質，卻不同於私塾。私塾走的是基礎教育的路子，有大致統一的教程與方法；而精舍不是，精舍以研學為主，教與學的方式、方法都比較自由，相當於私人大學。它類似於古希臘的柏拉圖學院，只是柏拉圖學院以幾何學為特色，而中國的精舍主要以研習“經學”為主旨。
宋代時朱子熱衷書院教育，他創建的書院初時便多稱為精舍，如寒泉精舍、武夷精舍、竹林精舍等。
總結一下：書院表面上起源於唐朝，完善興盛於宋朝，但實際上其前身可以追溯到秦漢之前，甚至可以把孔子在洙泗之間講學的場所，視為中國最早的書院。
