相傳河南嵩山少林寺13武僧幫助唐太宗統一中國後，唐太宗賜於“僧兵”，並准許在全國各地建立十座分寺。莆田縣九蓮山的林泉院，就是少林寺十座分寺中較早創建的分寺之一。
唐太宗貞觀年間，嵩山少林寺僧南下，不遠千里來到九蓮山，住錫在林泉院。此後，林泉院易名林山少林寺。北宋時，寺廟更加興旺，僧人500多名，武風極盛， 因為規模宏大（佔地約三萬平方米），武風鼎盛，影響南中國，故稱之為南少林寺，形成南少林拳，與北少林的腿功一起譽稱“北腿南拳”。南宋時，寺院仍保留興旺趨勢。劉克莊也盛讚“邑之嵩山少林”。
林泉院毀於清初。清初，南少林寺因在反清復明鬥爭中與天地會有著千絲萬縷的聯繫，清王朝深為忌恨，遣兵焚燬，南少林寺從此湮沒於歷史煙塵之中。現在南少林寺遺址一帶僅存一些附屬寺院，如資福寺、紅花亭等。1986年至1988年，莆田縣在文物普查中，發現了這座湮滅了幾百年的寺院遺址，發現了5個刻有“僧兵”、“諸羅漢浴煎茶散”等文字的北宋石槽。
1998年，南少林寺重建落成。2006年12月，南少林寺正式接納廣化寺方丈管理，成為兩寺院共同統一體制。由中國佛教會會長趙樸初先生題寫“南少林寺”寺名。