山西大學創建於1902年，最初名為山西大學堂

，是中國創辦最早的三所大學堂之一，其他的兩所國立大學是京師大學堂（北京大學前身），北洋大學堂（天津大學前身）。它也與武漢大學前身自強學堂、上海交通大學前身南洋公學等屬同時期的近代新式高校。

最初校址設立在太原市侯家巷內（現在的太原師範學院所在地）。民國初年更名為山西大學校，1918年更名為國立山西大學，1931年更名為山西大學，在中國抗戰期間，曾遷校至晉南、陝西三原、秋林等地，而後重返太原。

1949年，中國大學理學院併入山西大學，至此學校設有文、理、醫、工、法五個學院。隨後，法學院法律系併入北京大學。

山西大學院系調整

①文、理兩院合併，改稱山西師範學院

②工學院中冶金工程系參與組建新成立的北京鋼鐵工業學院（今北京科技大學）；紡織工程系和採礦工程系併入西北工學院（今西北工業大學）；工學院其餘部分獨立建校為太原工學院（今太原理工大學）；

③醫學院（含醫學系）獨立建院（今山西醫科大學）；

④法學院改稱財經學院，後劃歸入中國人民大學；

1953年，院系調整過後，原山西大學更名為山西師範學院。

1959年，再度組建山西大學，1961年與山西師範學院合併，仍定名為山西大學。 1962年，山西體育學院、山西藝術學院併入山西大學。

如今，山西省前兩位排名大學太原理工大學和山西大學都有著國立山西大學很深厚的傳承。