機器之心&ArXiv Weekly Radiostation
參與：杜偉，楚航，羅若天
本週的重要論文有 Bengio 參與、LeCun 點讚的開源圖神經網絡權威基準，以及 Nature 新研究中攝像頭充當神經網絡，速度超傳統方法千倍。
目錄：
- Benchmarking Graph Neural Networks
- How Much Can A Retailer Sell? Sales Forecasting on Tmall
- SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS
- Knowledge Graphs
- Ultrafast machine vision with 2D material neural network image sensors
- DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets
- Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
- ArXiv Weekly Radiostation：NLP、CV、ML更多精選論文（附音頻）。
論文 1：Benchmarking Graph Neural Networks
- 作者：Vijay Prakash Dwivedi、Chaitanya K. Joshi、Yoshua Bengio 等
- 論文鏈接：https://arxiv.org/pdf/2003.00982.pdf
摘要：近期的大量研究已經讓我們看到了圖神經網絡模型（GNN）的強大潛力，很多研究團隊都在不斷改進和構建基礎模塊。但大多數研究使用的數據集都很小，如 Cora 和 TU。在這種情況下，即使是非圖神經網絡的性能也是可觀的。如果進行進一步的比較，使用中等大小的數據集，圖神經網絡的優勢才能顯現出來。
在斯坦福圖神經網絡大牛 Jure 等人發佈《Open Graph Benchmark》之後，又一個旨在構建「圖神經網絡的 ImageNet」的研究出現了。近日，來自南洋理工大學、洛約拉馬利蒙特大學、蒙特利爾大學和 MILA 等機構的論文被提交到了論文預印版平臺上，在該研究中，作者一次引入了六個中等大小的基準數據集（12k-70k 圖，8-500 節點），並對一些有代表性的圖神經網絡進行了測試。除了只用節點特徵的基準線模型之外，圖神經網絡分成帶或不帶對邊對注意力兩大類。GNN 研究社區一直在尋求一個共同的基準以對新模型的能力進行評測，這一工具或許可以讓我們實現目標。
表 1：提議基準數據集的彙總統計信息。
示例圖和超像素圖。SLIC 的超像素圖（其中 MNIST 最多 75 節點，CIFAR10 最多 150 節點）是歐幾里得空間中的 8 個最近鄰圖形，節點顏色表示平均像素強度。
不同方法在基於 MNIST 和 CI-FAR10 的標準測試集上的測試結果（數值越高越好）。該結果是使用 4 個不同種子運行四次結果的平均值。紅色為最佳水平，紫色為高水平。粗體則表示殘差鏈接和非殘差連接之間的最佳模型（如兩個模型水平相同則皆為粗體顯示）。
推薦：這一新的研究有深度學習先驅 Yoshua Bengio 的參與，也得到了 Yann LeCun 的關注。
論文 2：How Much Can A Retailer Sell? Sales Forecasting on Tmall
- 作者：Chaochao Chen、Ziqi Liu、Xingyu Zhong 等
- 論文鏈接：https://arxiv.org/pdf/2002.11940.pdf
摘要：時間序列預測是學界和業界的一項重要任務，可以用於解決現實生活中的很多預測問題，如股票、供水和銷售預測等。在本文中，來自螞蟻金服的研究者對天貓平臺上的零售商銷售預測案例展開了研究。通過數據分析，他們得出了以下兩個觀察結果，其一是將不同的零售（商）分組後呈現出的銷售季度性，其二是將銷售狀況轉化為預測值後呈現出的 Tweedie 分佈。基於觀察結果，研究者設計了兩種銷售預測機制，即季節提取（seasonality extraction）和分佈轉化。
具體而言，他們首先採用傅里葉分解方法來自動提取不同零售商的季度性，這之後可進一步作為任何已創建迴歸算法的額外特徵。然後他們提出在對數變換後對銷售的 Tweedie 損失進行優化。最後，研究者將這兩種銷售預測機制應用於經典迴歸模型，即神經網絡和梯度提升決策樹。
天貓平臺上不同零售商的銷售呈季度性波動。
兩組零售商的季度性提取結果。
推薦：根據天貓數據集上的實驗結果，研究者表示，他們提出的這兩種機制均能夠大幅提升零售商的銷售預測效果。
論文 3：SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS
- 作者：Beidi Chen、Tharun Medini、Anshumali Shrivastava 等
- 論文鏈接：https://www.cs.rice.edu/~as143/Papers/SLIDE_MLSys.pdf
摘要：深度學習模型的訓練和推理加速近來是研究領域關注的重點。雖然普遍觀點認為，GPU 相比 CPU 有更強的算力優勢。但在近日，萊斯大學的計算機科學家們公佈了新的研究成果，其提出的深度學習框架，在大型工業級的推薦數據集上驗證了在沒有類似於 GPU 的專業硬件加速條件下，也可以對深度學習進行加速。
在論文中，研究者指出，儘管已有的研究表明，在算法端對模型進行優化無法顯示出如同 V100 GPU 那樣強大的性能提升，但是他們提出的 SLIDE 引擎卻可以實現。這一模型可以顯著地減少訓練和推理階段的運算，
局部敏感哈希的圖示。對於一個輸入，可以從對應的哈希桶中抽取哈希碼。
SLIDE 系統架構。
TF-CPU 與 SLIDE 之間的可擴展性測試，很明顯 SLIDE 要強很多。
推薦：這篇論文的亮點在於，即使只驗證了全連接網絡，但至少說明高性能 CPU 真的能滿足大模型的訓練，能大量降低硬件成本。
論文 4：Knowledge Graphs
- 作者：AIDAN HOGAN、EVA BLOMQVIST、ANTOINE ZIMMERMANN 等
- 論文鏈接：https://arxiv.org/pdf/2003.02320.pdf
摘要：近來知識圖譜在需要利用多樣化、動態和大規模數據集的諸多場景中吸引了工業界和學術界的注意，在本文中，研究者們對知識圖譜做了綜述性介紹。在總體介紹之後，他們對用於知識圖譜的圖數據模型和查詢語言進行了對比，探討了知識圖譜中模式、標識和語境的作用。然後研究者解釋瞭如何結合演繹和歸納方法來表徵和提取知識，並對知識圖譜的創建、豐富、質量評估、精細化和發佈方法進行總結。最後，他們綜述了著名的公開知識圖譜和企業知識圖譜以及它們的應用，並展望了知識圖譜未來的高級別研究方向。
包含兩個命名圖以及默認圖描述事件和路徑的圖數據集。
推薦：這篇長達 130 頁的知識圖譜綜述論文可以讓讀者總覽所有相關知識圖譜的信息。
論文 5：Ultrafast machine vision with 2D material neural network image sensors
- 作者：Lukas Mennel、Joanna Symonowicz、Thomas Mueller 等
- 論文鏈接：https://www.nature.com/articles/s41586-020-2038-x
摘要：對於計算機視覺，鏡頭是它的眼睛，獲取豐富的視覺信息後就可以傳遞給處理單元，並依靠它實現各種視覺能力。這是 CV 最常規的範式，也最符合我們的直覺，但是你會發現有兩大問題。首先，從鏡頭傳遞信息給處理單元，這一步並不簡單，尤其是在使用雲計算的情況下，這都怪視覺信息太豐富了。其次，處理單元的工作也不簡單，計算量龐大的視覺模型常常讓人望而卻步。
而在這篇 Nature 最新研究中，研究者表明圖像傳感器本身也可以「印刻」神經網絡，它能同時擔當感光與處理圖像這兩大功能，且還沒有延遲 。更重要的是，這種機器視覺芯片比傳統卷積神經網絡要快上千倍。只要一塊芯片，相機秒變智能終端。
與人腦一樣，新芯片能以納秒級的速度感知、分類簡單的圖像。
a 為訓練分類器與自編碼器的實驗配置，b 為用於測量 time-resolved 的實驗設置，c 為光學實驗的近景照片。
推薦：本文的亮點在於將神經網絡與感光能力結合到一起，在感光的同時產生電流，在產生電流的同時完成視覺任務，這樣的芯片還是非常有意思。
論文 6：DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets
- 作者：Yonghyun Jeong、Hyunjin Choi、Youngjune Gwon 等
- 論文鏈接：https://arxiv.org/abs/2003.01927
摘要：在本文中，來自三星 SDS 的研究者提出了 DefogGAN，這是一種用於推理即時戰略遊戲中戰爭迷霧機制下玩家狀態信息的生成式方法。基於觀察到的部分狀態，DefogGAN 在遊戲中生成除霧圖像，以作為預測信息。此類信息能夠為遊戲創建戰略智能體。
作為一種條件式 GAN 變體，DefogGAN 以金字塔式重建損失為特徵，從而在多特徵分辨率規模上進行優化。藉助於專業《星際爭霸》錄像，研究者已經對 DefogGAN 進行了驗證。結果表明，
DefogGAN 的預測效果圖與 Groud truth 的對比。圖中分別以綠色和紅色代表己方和敵方戰鬥單元。DefogGAN 能夠預測未觀察到的敵方戰鬥單元。
DefogGAN 整體架構圖。
金字塔式重建損失。
推薦：DefogGAN 不僅是對抗學習提升戰爭迷霧機制的最早應用之一，而且它還可以應用到現實世界中的其他馬爾科夫決策過程（POMDP）問題。
論文 7：Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
- 作者：Sebastian Lunz、Yingzhen Li、Andrew Fitzgibbon、Nate Kushman
- 論文鏈接：https://arxiv.org/pdf/2002.12674.pdf
摘要：通常來說，訓練這樣的框架需要通過柵格化處理來進行微分步驟渲染，因此，過去研究人員在該領域的努力都專注於開發定製渲染模型。然而，通過此類模型處理的圖像會顯得不夠真實自然，也不適合用於生成遊戲以及圖形產業的工業效果圖。
微軟的研究人員這一次做了新的突破——他們在論文中詳細介紹了一個框架，該框架採用的「可縮放」訓練技術是第一次被用於這一領域。研究人員提到，在使用 2D 圖像進行訓練時，該框架始終可以比現有的模型生成效果更好的 3D 形狀。
通過在渲染自三個 ShapeNet 類的非結構化 2D 圖像上訓練 IG-GAN，由此生成的 3D 圖示例。
閱讀更多 機器之心Pro 的文章
