白公館原是白駒修建的別墅。白駒是四川廣安人，在四川軍閥混戰時期，先後任熊克武部、楊森部團長，旅長，師長等職。1924年被北洋政府授予"將軍"名銜，後曾入國名黨中央軍官學校高等教育班第三期學習。

白公館約建於20世紀30年代。公館處所山泉流淌、綠樹成蔭，與周邊的山澗岩石、林木花草和飛鳥相映成趣。白駒以唐代詩人白居易的後人自居，用白居易的號"香山居士"中的"香山"二字為該公館取名"香山別墅"，並在大門兩側的石柱上刻寫了一副對聯："洛社風光閒處適，巴江雲樹望中收。"當地百姓以其住戶姓氏稱之為"白公館"。

軍統看守所時期

軍統局西遷重慶後即在市區望龍門兩湖會館設看守所，1939年4月，又在小龍坎棗子堡設臨時看守所，接收從望龍門轉來的犯人。1939年10月，為保密和躲避日軍轟炸，戴笠親自選址，買下白公館改設為軍統特別看守所，遷入棗子堡的關押人員，直接受戴笠和軍統局司法室領導。

抗戰時期，白公館屬於中轉性質的看守所，關押人員有軍統"違紀人員"，也有"特嫌人員"，還有"共黨分子"，大多由望龍門轉來，一般屬於臨時拘押或短期徒刑。在白公館關押、審訊一段時間以後，部分軍統違紀分子和變節者可開開釋；而被判"無期徒刑"、"長期監禁考核"以及死刑待決的共產黨員和革命烈士，通常在每年軍統成立紀念日其間，被押到貴州息烽監獄監禁或執行死刑。因此，在軍統局內部有望龍門是"小學"，白公館是"中學"，息烽是"大學"之說。

中美合作所第三招待所時期

1943年白公館被改為中美合作所第三招待所，所關押政治犯遷入渣滓洞。

漢奸拘留所時期

抗戰勝利後，白公館結束了中美合作所第三招待所的使命。1945年10月，白公館又成為關押漢奸的拘留所。關押過周佛海、丁默邨、羅君強等一批漢奸及漢奸周佛海的家人。

西南公安部戰法管理所時期

1949年11月30日，重慶解放，原軍統"特區"被西南軍政委員會公安部接管。1950年6月白公館被闢為西南公安部戰犯管理所，關押部分國名黨戰犯。

如今，白公館已經成為免費向公眾開放的紅色旅遊景點。遊客在這裡可以瞭解國名黨反動派的殘酷行徑，緬懷革命先烈，感受重慶紅巖文化。