點擊上方關注，All in AI中國
人工智能研究員佩德羅·多明戈斯（Pedro Domingos）在其著作《主算法》（The Master Algorithm）一書中探討了單一算法的概念，該算法可以結合機器學習的主要流派。毫無疑問，這個想法非常好，我們已經看到了它的一些迭代。去年，谷歌發佈了一篇研究論文“One Model to Learn Them All”，它將異構學習技術結合在一個機器學習模型中。去年，Alphabet的子公司DeepMind通過引入一種稱為可微分邏輯編程（∂ILP）的新技術向多模型算法邁出了一步，該技術將邏輯和神經網絡結合到一個模型中，從噪聲數據中提取規則。
∂ILP彙集了兩所主要的機器學習學校。連接主義者試圖通過以神經網絡的形式模仿大腦的表現來建模知識，並且一直是深度學習等運動背後的驅動力。象徵主義者依靠邏輯來根據易於理解的規則對知識進行建模。兩所學校都有眾所周知的優點和缺點。基於歸納邏輯程序設計（ILP）的符號系統傾向於有效地推廣知識，並且它們對過度擬合具有半免疫性。此外，ILP系統往往非常適合遷移學習場景，其中訓練的模型可以被複制並在其他模型中重用。ILP系統的主要侷限性是它們難以處理在深度學習場景中非常常見的噪聲或模糊數據。
連接主義系統傾向於在具有嘈雜數據的環境中良好地工作，並且可以有效地處理不確定性和模糊性。然而，它們的訓練和版本往往是昂貴的。此外，從連接系統中學到知識很難理解，並且與符號模型的清晰度形成了鮮明對比。多年來，許多專家都強調了將強大的聯結主義學習與符號關係學習相結合的理論價值。 ∂ILP無疑是朝著正確方向邁出的一步。
從概念上講，∂ILP將神經網絡與ILP相結合，提供了一個模型，可以處理噪聲和模糊數據，同時也可以很好地推廣和避免惡化。通過結合兩者的優點，∂ILP是一種技術，它不同於連接主義模型，它可以象徵性地概括知識，同時也可以通過視覺概括知識來區別傳統的符號模型。以下矩陣可能有助於說明三種思想流派之間的比較。
為了解釋∂ILP的功能，讓我們使用一個基本的任務，其中一對圖像代表數字，並輸出一個標籤（0或1），指示左圖像的數量是否小於右圖像的數量的圖片。解決這個問題涉及兩種思維：你需要直觀的感性思維來將圖像識別為特定數字的表示，並且你需要概念性思維來理解小於關係的全貌。
下面說明的任務不是特別新的，可以使用標準的深度學習模型，例如卷積神經網絡（CNN）來解決。雖然CNN模型完全能夠識別新的數字圖像，但很可能無法識別數字本身。換句話說，諸如CNN之類的深度學習策略能夠實現視覺概括而不是符號概括。
∂ILP與標準神經網絡不同，因為它能夠象徵性地進行概括，並且它與標準符號程序不同，因為它能夠在視覺上進行概括。它從可讀、可解釋和可驗證的示例中學習顯式程序。 ∂ILP給出了一組部分示例，並生成滿足它們的程序。它使用梯度下降搜索程序空間。如果程序的輸出與參考數據的期望輸出衝突，則系統修改程序以更好地匹配數據。
先前實驗的結果表明，∂ILP能夠通過其他邏輯和深度學習模型在符號和視覺上超越既定基線。
∂ILP是將機器學習中的兩個主要部落聚集在一起的非常有創意的方法。將連接主義系統的直觀知識與符號主義者的概念知識相結合，更接近於模擬人類認知，並且可能更接近多明戈的主算法。
編譯出品
閱讀更多 AI中國 的文章
