編譯 | 蔣寶尚
DeepMind 作為《自然》期刊的大戶，最近在《自然·物理》發表了一篇論文，講述瞭如何利用圖神經網絡研究玻璃態變化的問題。
玻璃，是我們常見卻非常陌生的東西。儘管人類製造玻璃已經有2000多年的歷史，但卻對其物理性質瞭解不足。
在電子顯微鏡下面，一塊我們平常看來光滑的玻璃，卻看起來雜亂無章。原因在於，玻璃是從液態經過迅速冷卻後變成的固體；我們知道液體的分子是雜亂分佈的，因為液態分子沒有足夠的時間形成格子狀的晶體，於是玻璃雖為固體，卻仍凍結在液態的分子排布狀態。
然而，粒子如何根據距離相互影響，以及這種影響如何隨時間變化，依舊是玻璃動力學中一個尚未解決的核心問題。
在前幾天剛剛去世諾貝爾獎得主菲利普 · 安德森（Philip W. Anderson）曾指出：
固體理論中最深奧、最有趣的未解決的問題可能是關於玻璃的性質和玻璃轉變的理論。
而DeepMind發表的這篇文章稱其研究了一款人工智能系統（本質上是圖神經網絡），可以預測玻璃分子在液態和固態之間的運動變化過程。
DeepMind發言人表示：“我們在「玻璃動力學」（Glassy Dynamics）建模過程中所驗證的心得和技術，可以應用到其他科學的核心問題中，也能夠幫助揭開周圍世界新事物的神秘面紗。”
1 模擬玻璃的實際意義
玻璃相變（glass transition）在自然界是一種普遍存在的現象，不僅僅表現在窗（硅）玻璃中。在其他地方，例如在熨燙衣服時聚合物受熱後，在熨斗重力作用下，會發生定向移動。一些膠體懸浮液（如冰淇淋），顆粒狀材料（如沙堆），生物系統（細胞遷移）和社會行為（交通堵塞）都會發生類似的玻璃相變現象。
這本質上就是，在局部約束下，某個元素抑制了其他元素運動的系統變化。我們稱這種變化為干擾相變（jamming transition）。
這種變化比較複雜，且相關性較大，以異質的方式在空間中進行傳播，是一種大規模、集體的重新排列。
玻璃是這種複雜系統最典型的代表，因此也是最好的研究對象。
事實上，玻璃確實還比較神秘——儘管人類製造硅玻璃已經有幾千年的歷史，但是對於其背後的物理聯繫仍然琢磨不透，例如冷卻過程中為什麼年度會上億倍地增長，這個問題如今還是未知。
另一方面，玻璃也是能夠很好將機器學習和物理問題結合的一個點，因為它比較容易模擬，也比較容易輸入到基於樣本的機器學習模型中。而且，最為關鍵的是，我們可以去分析模型本身，從而能夠了解玻璃的本質。
2 用圖神經網絡建模玻璃動力學
玻璃的建模，可以由一系列具有短程排斥勢（Repulsive Potential）的粒子來模擬。這種勢（更準確說應該是電勢）會隨粒子之間距離的增大而縮小，大到一定程度就可以認為等於零。於是可以認為只有相互靠近的粒子之間才有相互作用。
於是我們可以把這種粒子之間的關聯性和局部性，建模成圖結構的網絡，然後用圖神經網絡的技術來預測玻璃的物理性質。
在DeepMind的這篇文章中，他們先根據三維輸入創建一個圖，其中用節點代表粒子，用邊代表粒子之間的相互作用，並給它們之間的相對距離打上標籤。
然後將圖作為輸入來訓練圖神經網絡。如下圖所示，對每個節點進行預測，並從中找到一個實值。
模型框架：a）在三維輸入中，將相對距離小於2的節點連接起來，從而形成一個圖形。b）圖網絡根據之前的嵌入和相鄰節點的嵌入更新邊緣，然後根據更新之後的邊緣更新節點。c）整個圖神經網絡由一個編碼器、一個解碼器、幾個核心應用組成。d）從編碼器到更新節點的二維圖示。
預測得到實值會用在計算機模擬中來觀察玻璃體，從而獲得的粒子移動規律。值得一提的是，這裡使用的是平均初始速度和平均移動距離。
從上圖可以看出，此網絡架構是一種典型的圖網絡架構，裡面包含多個神經網絡。據DeepMind介紹，模型在具體運行過程中，先使用編碼器網絡將節點和邊緣標籤嵌入到高維向量空間中，然後對嵌入節點和邊緣標籤進行迭代更新：在所有的邊緣使用同一網絡並行更新之後，節點也根據其相鄰的邊緣嵌入和之前的嵌入進行更新。通常上述過程重複七次，便能夠讓局部信息在整個圖網絡中傳播。
最後，使用解碼器網絡提取每個粒子的移動規律，其中解碼器網絡具有所有必須的屬性：固有的關聯性，圖節點和邊的排列下的不變性，以局部操作的組合方式更新嵌入。這裡解碼器的參數，是用隨機梯度下降法得到的。
DeepMind還通過構建幾個數據集來驗證他們的模型，這些數據集對應於不同溫度下、不同時間範圍內的流動性預測。他們發現，在選擇的時間尺度上，粒子會碰撞數千次，所以網絡必須找到一種恰當的方法來刻畫長期的動態過程。
3 將網絡預測與物理聯繫起來
將圖網絡應用到模擬的三維玻璃上後，作者發現，這些圖網絡的表現遠遠優於現有的模型，包括從標準的受物理啟發的基準，到最先進的機器學習模型。
圖3：GNN 預測的移動率（顏色從最不活躍的藍色到最活躍的紅色）與三維盒子切片中最活躍的模擬粒子（點）的位置的比較。紅色區域和點越對齊，表示性能越好。左邊的平面對應著短時間尺度的預測，畫面顯示其網絡實現了非常好的性能；右邊的平面對應著比左邊平面長28000倍的時間尺度，玻璃中的粒子開始擴展。動力學是異質的，粒子運動是局部相關的，但在宏觀尺度上是異質的，然而該網絡依舊能夠做出與真實值模擬一致的預測。
通過比較預測的移動率（圖3中的顏色梯度）和真實值模擬，他們發現，在短時間內，二者的一致性非常好，並且能夠很好地匹配玻璃的鬆弛時間。
看著在鬆弛時間（真實玻璃的鬆弛時間為幾千年）的時間尺度上的玻璃，就像在看著1皮秒（10的負12次方秒）上的液體：當粒子碰撞得足以開始丟失其初始位置的信息時，鬆弛時間會變得不那麼精確。
在數字上，預測和模擬的真實值之間的關聯性在非常短的時間尺度上為96%，而在玻璃的鬆弛時間上依舊高達64%（與此前最先進的模型相比，提高了40%）。
然而，作者並不只是簡單地對玻璃建模，更重要的是理解其本質。因此，他們探索了哪些因素決定著模型是否成功，從而推斷底層系統中哪些屬性比較重要。
他們通過設計一個利用圖網絡特定架構的實驗對此進行了研究。回想一下，反覆應用邊緣和節點的更新來定義任意給定的粒子周圍的粒子殼：第一個殼由與“標記”粒子有一步之遙的所有粒子組成，第二個殼由與第一個殼由一步之遙的所有粒子組成，以此類推（見圖2c 中不同的藍色陰影部分）。
當模擬到第 n 個殼時，通過計算網絡對中心粒子做出的預測的敏感性，能夠計算出網絡用來提取預測的區域有多大，而預測能夠提供一個對物理系統中粒子相互影響的距離的估計。
圖4：消融實驗。在左邊的實驗中，一箇中心粒子周圍的第一個殼以外的所有粒子都被移除。在正確的實驗中，通過增加第一個和第二個粒子殼之間的距離來擾動輸入。
作者發現，在預測不久後或液相中將會發生什麼時，第三個殼的劇烈變化（例如圖4左中，所有的粒子都被移除）並沒有改變網絡對標記的粒子的預測。另一方面，在低溫環境或對很久以後發生的事情進行預測時，在玻璃開始鬆弛後，即便是第五個殼的微小擾動（圖4左），就會影響對標記的粒子的預測。
這些發現與關聯長度會隨著臨近玻璃轉變而增加的物理圖像一致，其中關聯長度計算的是粒子相互影響的距離。
關聯長度的定義和研究，是物理學中相變研究的基石，也是研究玻璃時依舊存在的一個爭論點。雖然這種“機器學到的”關聯長度無法發直接轉化為物理上可計算的量，但是它提供了令人信服的證據來證明：在臨近玻璃轉變過程中，系統中的空間關聯會不斷增加，而Deepmind 的這一網絡，已經學會了提取這些關聯。
4 結語
結果表明，圖神經網絡利用隱藏在粒子周圍的結構，構建了一個強大的工具預測玻璃態系統的長期動態。
Deepmind 表示，希望他們的這項技術能夠對預測其他涉及到玻璃的物理量有所幫助，並期待它能夠給玻璃態系統理論學家帶來更多的視角。對此，他們也正在開源模型和經過訓練的網絡來推動這一進展。
一般而言，圖網絡作為一個通用的工具，正在被應用到許多包括多體交互在內的其他物理系統、包括交通、人群模擬在內的環境以及宇宙學中。
這些應用中使用的網絡分析方法，也給其他領域帶來了更深的理解：圖網絡不僅能夠給幫助研究者更好地預測範圍內的系統，還能夠表示對系統建模至關重要的物理關聯。在這些工作中，玻璃態材料中的局部粒子之間的相互作用，一直都在隨時間變化。
該工作的作者認為，他們的這一結果會促進研究者在將機器學習應用到物理科學時，採用結構化模型，而在他們的示例中，模型擁有分析神經網絡的內部工作原理的能力，也體現了模型能夠找到了一個與難以找到的物理量相關聯的量。這就表明了，機器學習不僅可以用來做定量預測，還能夠用來定性地理解物理系統。
這或許意味著，機器學習系統可能能夠幫助研究人員推導出基本的物理理論，最終幫助擴展而非取代人類的理解。
via https://www.deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks
直播預告……
閱讀更多 AI科技評論 的文章
