2018年12月19日，Analytics Vidhya發佈了一份報告，從數據科學從業者的角度，回顧了2018年AI的一些關鍵領域的重大突破，同時，也對2019年AI技術的發展趨勢進行了預測，原文作者是Pranav Dar。
報告共包括五個部分：
自然語言處理（Natural Language Processing - NLP)
計算機視覺（Computer Vision - CV）
工具和庫（Tools and Libraries）
強化學習（Reinforcement Learning - RL）
AI造福人類（AI for Good – A Move Towards Ethical AI）
一是自然語言處理（NLP）
語言的細微差別，使得NLP一直是AI的難點領域，久攻不下。2018年是NLP的分水嶺，重大突破技術接連而至，例如ULMFiT, ELMO, OpenAI的Transformer, Google的BERT等。NLP遷移學習的成功，使得AI服務於無限的NLP任務成為可能。下面讓我們看一下這些關鍵技術進展：
1.1 ULMFiT
遷移學習在CV領域已經取得了成功，但在NLP領域一直沒有突破，直到ULMFiT出現，這種狀況才發生根本改變。ULMFiT出自ACL 2018的一篇論文"Universal Language Model Fine-tuning for Text Classification"，作者是fast.ai的Jeremy Howard和NUI Galway Insight Centre的Sebastian Ruder。ULMFiT幾乎可以應用到任何NLP任務，效果相當可觀，在六個文本分類任務上取得最先進水平，在主流數據集上，能夠將錯誤率降低18-24%，且ULMFiT在100個標籤樣例上得到的性能，可以達到scratch在100倍個標籤樣例上得到的性能。
arXiv ULMFiT論文：
https://arxiv.org/abs/1801.06146
fast.ai ULMFiT腳本：
http://nlp.fast.ai/category/classification.html
Sebastian Ruder博客：
http://ruder.io/
1.2 ELMo
ELMo是Embeddings from Language Models縮寫，出自NAACL HLT 2018的一篇論文"Deep contextualized word representations"，作者來自艾倫人工智能研究院和華盛頓大學。ELMo採用了雙向LSTM，使用語言模型（Language Models）獲取詞嵌入（Embeddings），同時考慮單詞所在的句子或段落的上下文語境。同ULMFiT一樣，ELMo顯著提高了各種各樣的NLP任務的性能，例如情感分析、機器問答等。
arXiv ELMo論文：
https://arxiv.org/abs/1802.05365
AllenNLP ELMo主頁:
https://allennlp.org/elmo
1.3 Google’s BERT
BERT是Bidirectional Encoder Representations from Transformers縮寫，作者來自Google。BERT是預訓練深度雙向模型，聯合考慮左右上下文語境，通過微調，增加一個額外的輸出層，就可以創造一個適用其它NLP任務的最先進模型。繼ULMFiT和ELMo之後，BERT憑藉其性能橫掃一切競爭對手，在SQuAD數據集上的11項NLP任務中最優成績，很多專家認為，BERT標誌著NLP進入了一個新時代。
arXiv BERT論文：
https://arxiv.org/abs/1810.04805
TensorFlow實現：
https://github.com/google-research/bert
PyTorch實現：
https://github.com/huggingface/pytorch-pretrained-BERT
1.4 Facebook’s PyText
Facebook出品，基於PyTorch的深度學習NLP開源框架，可以將對話模型的準確度提高10%，同時減少訓練時間。
GitHub PyText repo:
https://github.com/facebookresearch/pytext
1.5 Google Duplex
Google出品，首次亮相在2018年I/O開發者大會上。Duplex可以理解複雜的句子、快速的演講、冗長的評論，像自然人一樣幫助預定餐廳，效果非常驚人。
Duplex video：
https://www.youtube.com/embed/NO0-5MuJvew?feature=oembed
2019年NLP趨勢預測：
ULMFiT作者Sebastian Ruder認為：（1）預訓練語言模型嵌入將無處不在，如果不使用它，將很難取得最先進模型；（2）我們將看到編碼專業信息的預訓練模型，這是語言模型嵌入的補充。我們可以根據任務需要，組合不同類型預訓練表示；（3）我們將看到多語言應用和跨語言模型上，將有更多工作。特別是，在跨語言詞向量基礎上，我們將看見深度預訓練跨語言表示。
二是計算機視覺（CV）
CV是深度學習最熱門的一個領域，儼然已經處在遍地結果階段，無論圖像領域，還是視頻領域，我們可以看到大量的框架和庫，使得CV任務變得輕而易舉。Analytics Vidhya整理了一系列CV相關的文章，包括從視頻和圖像物體檢測到預訓練模型清單，以開啟你的學習之旅。Analytics Vidhya從中挑選了三個最突出的成果：
CV相關主題文章：
https://www.analyticsvidhya.com/blog/category/deep-learning/
2.1 The Release of BigGANs
自從2014年Ian Goodfellow設計出GANs，已經衍生出多種多樣的應用。但都存在一個共性問題，即機器生成的圖像很容易被人眼識別出來。直到BigGANs問世，問題才得以解決。BigGAN來自ICLR 2019"Large Scale GAN Training for High Fidelity Natural Image Synthesis"
arXiv BigGAN論文：
https://arxiv.org/abs/1809.11096
GAN Dissection：
https://gandissect.csail.mit.edu/
2.2 Fast.ai’s Model being Trained on ImageNet in 18 Minutes
模型訓練需要大量的數據和大量的計算資源，非常耗時費力花錢多。然而，fast.ai提出了一種模型，18分鐘就可以在ImageNet數據集上完成訓練，取得93%的準確度。訓練的計算資源是AWS上的16個雲主機，每個雲主機配置8個NVIDIA V100 GPU，總共才花費了40美金。
fast.ai 模型主頁：
https://www.fast.ai/2018/08/10/fastai-diu-imagenet/
2.3 NVIDIA’s vid2vid technique
在過去的4-5年時間裡，圖像處理技術突飛猛進，但視頻處理技術顯然要落後一些，你很難預測下一個視頻幀是什麼內容。NVIDIA開源了vid2vid源代碼，可以從輸入視頻得到高精度的輸出視頻，得到廣泛讚揚。
arXiv vid2vid論文：
https://arxiv.org/abs/1808.06601
GitHub vid2vid repo：
https://github.com/NVIDIA/vid2vid
2019年CV趨勢預測：
Pranav Dar認為，基於現有模型的改進比發明新模型更多一些，例如：自動駕駛、人臉識別、虛擬現實。
（1）在美國，無人機最終得到政府批准，期待更多研究應用到實際應用中去。
（2）視覺問答和視覺對話系統可能會首次亮相。
（3）自監督學習將要首次亮相，明年將有更多研究使用該技術。
三是工具和庫
工具和庫是數據科學從業者的麵包和黃油，關於哪個工具最好，哪個框架最好，哪個庫最好，有過很多爭論，但都沒有勝負。但有件事是無可爭議的，那就是我們需要掌握AI領域的最新工具，否則有落後風險。
3.1 PyTorch 1.0
Facebook出品，為Facebook眾多產品提供服務，每天處理60億文本翻譯。PyTorch非常靈活，效率比TensorFlow高，這是它的亮點，GitHub上大多數代碼都是基於PyTorch實現的，預計2019年PyTorch佔有率會更高。
PyTorch官網：https://pytorch.org/
Faizan Shaikh PyTorch：
https://www.analyticsvidhya.com/blog/2018/02/pytorch-tutorial/
3.2 AutoML – Automated Machine Learning
在過去幾年裡，AutoML逐漸取得進展，像RapidMiner、KNIME、DataRobot、H2O.ai這些公司發佈了一些優秀產品，展示了這項服務的巨大潛力。除了這些公司產品，ML/DL領域有一個重要開源項目，那就是Auto Keras。它的目標是讓沒有ML背景的領域專家可以使用深度學習。有理由相信，在未來幾年，將會取得巨大進展。
官網：https://autokeras.com/
3.3 TensorFlow.js – Deep Learning in the Browser
我們一般通過IDE開發ML/DL模型，那有沒有其他方式呢？答案是TensorFlow.js，通過它，你可以完成三件事：
（1）通過JavaScript開發和部署機器學習模型
（2）在瀏覽器中運行預先訓練好的TensorFlow模型
（3）重新訓練已有模型
官網：https://js.tensorflow.org/
2019年工具趨勢預測：
Pranav Dar認為，2019年最期待的是AutoML，因為它可以改變數據科學領域的遊戲規則。
H2O.ai的Marios Michailidis認為：機器學習將是未來重要趨勢之一，應用領域無限，包括但不限於：信用、保險、欺詐、計算機視覺、聲學、傳感器、推薦、預測、NLP。
（1）提供智能可視化和洞察力來幫助描述和理解數據
（2）為給定的數據集尋找/建立/提取更好的特徵
（3）快速建立更強大/更智能的預測模型
（4）用機器學習可解釋性來彌補黑盒建模和這些模型的生產之間的差距
（5）促進這些模型的生產
四是強化學習（RL）
除了偶爾出現在新聞頭條，RL還沒有取得重大突破，社區普遍看法是，它太數學化了，還沒有真正落地到工業應用中。希望2019年RL能夠出現更多實際應用。我們將持續關注GitHub和Reddit上關於RL文章，圍繞該主題進行討論，期待研究出重大突破。OpenAI已經發布了一個非常有用的工具包，來幫助初學者開啟學習之旅。
4.1 OpenAI’s Spinning Up in Deep Reinforcement Learning
RL相關的資料很少，但OpenAI開放了一些非常棒的資料，名字叫做"Spinning Up in Deep RL"。其資料相當齊全，並且試圖確保代碼和註釋儘可能簡單，諸如：RL術語、怎樣成為RL研究角色、列舉重要論文清單、文檔及其豐富的代碼庫，甚至一些練習幫助入門。
4.2 Dopamine by Google
為了加速研究，讓社區更多參與到RL中來，Google的AI團隊開源了一個基於TensorFlow框架的Dopamine項目，旨在使得研究更加靈活和可複製。
GitHub Dopamine repo：
https://github.com/google/dopamine
2019年RL趨勢預測
ArxivInsights的創始人Xander Steenbrugge認為，目前RL三個主要問題是：樣例複雜性、泛化和遷移學習、層次RL。前兩個問題用無監督表示學習技術可以解決。對於問題三，潛在空間比比原始空間更容易解決層次任務。
Xander video：
https://www.youtube.com/watch?v=0Ey02HT_1Ho
五是AI造福人類
5.1 Campaigns by Google and Microsoft
儘管AI之路不平坦，但大公司都把重點放到AI上了，我想讓你們注意這些公司的AI原則，主要是討論AI公平性。
Google AI原則：
https://www.blog.google/technology/ai/ai-principles/
Microsoft AI原則：
https://www.microsoft.com/en-us/ai/our-approach-to-ai
5.2 How GDPR has Changed the Game
GDPR對AI數據收集方式產生影響，確保數據所有者有權控制自己的數據，它將限制AI在許多平臺上使用。Analytics Vidhya創始人Kunal Jain給出了2019年AI道德預測：
（1）AI道德是一個灰色地帶，我們需要制定一個其他人都遵循的框架。
（2）隨著人工智能成為企業的工作重心，公司的最佳實踐需要重新構造，治理方法需要重新繪製。
（3）希望政府在這方面發揮更積極作用，修改或者發佈新的政策。2019年將是有趣的一年。
原文網址：
https://www.analyticsvidhya.com/blog/2018/12/key-breakthroughs-ai-ml-2018-trends-2019/
閱讀更多 深度學習社區 的文章
