2018年12月19日，Analytics Vidhya发布了一份报告，从数据科学从业者的角度，回顾了2018年AI的一些关键领域的重大突破，同时，也对2019年AI技术的发展趋势进行了预测，原文作者是Pranav Dar。
报告共包括五个部分：
自然语言处理（Natural Language Processing - NLP)
计算机视觉（Computer Vision - CV）
工具和库（Tools and Libraries）
强化学习（Reinforcement Learning - RL）
AI造福人类（AI for Good – A Move Towards Ethical AI）
一是自然语言处理（NLP）
语言的细微差别，使得NLP一直是AI的难点领域，久攻不下。2018年是NLP的分水岭，重大突破技术接连而至，例如ULMFiT, ELMO, OpenAI的Transformer, Google的BERT等。NLP迁移学习的成功，使得AI服务于无限的NLP任务成为可能。下面让我们看一下这些关键技术进展：
1.1 ULMFiT
迁移学习在CV领域已经取得了成功，但在NLP领域一直没有突破，直到ULMFiT出现，这种状况才发生根本改变。ULMFiT出自ACL 2018的一篇论文"Universal Language Model Fine-tuning for Text Classification"，作者是fast.ai的Jeremy Howard和NUI Galway Insight Centre的Sebastian Ruder。ULMFiT几乎可以应用到任何NLP任务，效果相当可观，在六个文本分类任务上取得最先进水平，在主流数据集上，能够将错误率降低18-24%，且ULMFiT在100个标签样例上得到的性能，可以达到scratch在100倍个标签样例上得到的性能。
arXiv ULMFiT论文：
https://arxiv.org/abs/1801.06146
fast.ai ULMFiT脚本：
http://nlp.fast.ai/category/classification.html
Sebastian Ruder博客：
http://ruder.io/
1.2 ELMo
ELMo是Embeddings from Language Models缩写，出自NAACL HLT 2018的一篇论文"Deep contextualized word representations"，作者来自艾伦人工智能研究院和华盛顿大学。ELMo采用了双向LSTM，使用语言模型（Language Models）获取词嵌入（Embeddings），同时考虑单词所在的句子或段落的上下文语境。同ULMFiT一样，ELMo显著提高了各种各样的NLP任务的性能，例如情感分析、机器问答等。
arXiv ELMo论文：
https://arxiv.org/abs/1802.05365
AllenNLP ELMo主页:
https://allennlp.org/elmo
1.3 Google’s BERT
BERT是Bidirectional Encoder Representations from Transformers缩写，作者来自Google。BERT是预训练深度双向模型，联合考虑左右上下文语境，通过微调，增加一个额外的输出层，就可以创造一个适用其它NLP任务的最先进模型。继ULMFiT和ELMo之后，BERT凭借其性能横扫一切竞争对手，在SQuAD数据集上的11项NLP任务中最优成绩，很多专家认为，BERT标志着NLP进入了一个新时代。
arXiv BERT论文：
https://arxiv.org/abs/1810.04805
TensorFlow实现：
https://github.com/google-research/bert
PyTorch实现：
https://github.com/huggingface/pytorch-pretrained-BERT
1.4 Facebook’s PyText
Facebook出品，基于PyTorch的深度学习NLP开源框架，可以将对话模型的准确度提高10%，同时减少训练时间。
GitHub PyText repo:
https://github.com/facebookresearch/pytext
1.5 Google Duplex
Google出品，首次亮相在2018年I/O开发者大会上。Duplex可以理解复杂的句子、快速的演讲、冗长的评论，像自然人一样帮助预定餐厅，效果非常惊人。
Duplex video：
https://www.youtube.com/embed/NO0-5MuJvew?feature=oembed
2019年NLP趋势预测：
ULMFiT作者Sebastian Ruder认为：（1）预训练语言模型嵌入将无处不在，如果不使用它，将很难取得最先进模型；（2）我们将看到编码专业信息的预训练模型，这是语言模型嵌入的补充。我们可以根据任务需要，组合不同类型预训练表示；（3）我们将看到多语言应用和跨语言模型上，将有更多工作。特别是，在跨语言词向量基础上，我们将看见深度预训练跨语言表示。
二是计算机视觉（CV）
CV是深度学习最热门的一个领域，俨然已经处在遍地结果阶段，无论图像领域，还是视频领域，我们可以看到大量的框架和库，使得CV任务变得轻而易举。Analytics Vidhya整理了一系列CV相关的文章，包括从视频和图像物体检测到预训练模型清单，以开启你的学习之旅。Analytics Vidhya从中挑选了三个最突出的成果：
CV相关主题文章：
https://www.analyticsvidhya.com/blog/category/deep-learning/
2.1 The Release of BigGANs
自从2014年Ian Goodfellow设计出GANs，已经衍生出多种多样的应用。但都存在一个共性问题，即机器生成的图像很容易被人眼识别出来。直到BigGANs问世，问题才得以解决。BigGAN来自ICLR 2019"Large Scale GAN Training for High Fidelity Natural Image Synthesis"
arXiv BigGAN论文：
https://arxiv.org/abs/1809.11096
GAN Dissection：
https://gandissect.csail.mit.edu/
2.2 Fast.ai’s Model being Trained on ImageNet in 18 Minutes
模型训练需要大量的数据和大量的计算资源，非常耗时费力花钱多。然而，fast.ai提出了一种模型，18分钟就可以在ImageNet数据集上完成训练，取得93%的准确度。训练的计算资源是AWS上的16个云主机，每个云主机配置8个NVIDIA V100 GPU，总共才花费了40美金。
fast.ai 模型主页：
https://www.fast.ai/2018/08/10/fastai-diu-imagenet/
2.3 NVIDIA’s vid2vid technique
在过去的4-5年时间里，图像处理技术突飞猛进，但视频处理技术显然要落后一些，你很难预测下一个视频帧是什么内容。NVIDIA开源了vid2vid源代码，可以从输入视频得到高精度的输出视频，得到广泛赞扬。
arXiv vid2vid论文：
https://arxiv.org/abs/1808.06601
GitHub vid2vid repo：
https://github.com/NVIDIA/vid2vid
2019年CV趋势预测：
Pranav Dar认为，基于现有模型的改进比发明新模型更多一些，例如：自动驾驶、人脸识别、虚拟现实。
（1）在美国，无人机最终得到政府批准，期待更多研究应用到实际应用中去。
（2）视觉问答和视觉对话系统可能会首次亮相。
（3）自监督学习将要首次亮相，明年将有更多研究使用该技术。
三是工具和库
工具和库是数据科学从业者的面包和黄油，关于哪个工具最好，哪个框架最好，哪个库最好，有过很多争论，但都没有胜负。但有件事是无可争议的，那就是我们需要掌握AI领域的最新工具，否则有落后风险。
3.1 PyTorch 1.0
Facebook出品，为Facebook众多产品提供服务，每天处理60亿文本翻译。PyTorch非常灵活，效率比TensorFlow高，这是它的亮点，GitHub上大多数代码都是基于PyTorch实现的，预计2019年PyTorch占有率会更高。
PyTorch官网：https://pytorch.org/
Faizan Shaikh PyTorch：
https://www.analyticsvidhya.com/blog/2018/02/pytorch-tutorial/
3.2 AutoML – Automated Machine Learning
在过去几年里，AutoML逐渐取得进展，像RapidMiner、KNIME、DataRobot、H2O.ai这些公司发布了一些优秀产品，展示了这项服务的巨大潜力。除了这些公司产品，ML/DL领域有一个重要开源项目，那就是Auto Keras。它的目标是让没有ML背景的领域专家可以使用深度学习。有理由相信，在未来几年，将会取得巨大进展。
官网：https://autokeras.com/
3.3 TensorFlow.js – Deep Learning in the Browser
我们一般通过IDE开发ML/DL模型，那有没有其他方式呢？答案是TensorFlow.js，通过它，你可以完成三件事：
（1）通过JavaScript开发和部署机器学习模型
（2）在浏览器中运行预先训练好的TensorFlow模型
（3）重新训练已有模型
官网：https://js.tensorflow.org/
2019年工具趋势预测：
Pranav Dar认为，2019年最期待的是AutoML，因为它可以改变数据科学领域的游戏规则。
H2O.ai的Marios Michailidis认为：机器学习将是未来重要趋势之一，应用领域无限，包括但不限于：信用、保险、欺诈、计算机视觉、声学、传感器、推荐、预测、NLP。
（1）提供智能可视化和洞察力来帮助描述和理解数据
（2）为给定的数据集寻找/建立/提取更好的特征
（3）快速建立更强大/更智能的预测模型
（4）用机器学习可解释性来弥补黑盒建模和这些模型的生产之间的差距
（5）促进这些模型的生产
四是强化学习（RL）
除了偶尔出现在新闻头条，RL还没有取得重大突破，社区普遍看法是，它太数学化了，还没有真正落地到工业应用中。希望2019年RL能够出现更多实际应用。我们将持续关注GitHub和Reddit上关于RL文章，围绕该主题进行讨论，期待研究出重大突破。OpenAI已经发布了一个非常有用的工具包，来帮助初学者开启学习之旅。
4.1 OpenAI’s Spinning Up in Deep Reinforcement Learning
RL相关的资料很少，但OpenAI开放了一些非常棒的资料，名字叫做"Spinning Up in Deep RL"。其资料相当齐全，并且试图确保代码和注释尽可能简单，诸如：RL术语、怎样成为RL研究角色、列举重要论文清单、文档及其丰富的代码库，甚至一些练习帮助入门。
4.2 Dopamine by Google
为了加速研究，让社区更多参与到RL中来，Google的AI团队开源了一个基于TensorFlow框架的Dopamine项目，旨在使得研究更加灵活和可复制。
GitHub Dopamine repo：
https://github.com/google/dopamine
2019年RL趋势预测
ArxivInsights的创始人Xander Steenbrugge认为，目前RL三个主要问题是：样例复杂性、泛化和迁移学习、层次RL。前两个问题用无监督表示学习技术可以解决。对于问题三，潜在空间比比原始空间更容易解决层次任务。
Xander video：
https://www.youtube.com/watch?v=0Ey02HT_1Ho
五是AI造福人类
5.1 Campaigns by Google and Microsoft
尽管AI之路不平坦，但大公司都把重点放到AI上了，我想让你们注意这些公司的AI原则，主要是讨论AI公平性。
Google AI原则：
https://www.blog.google/technology/ai/ai-principles/
Microsoft AI原则：
https://www.microsoft.com/en-us/ai/our-approach-to-ai
5.2 How GDPR has Changed the Game
GDPR对AI数据收集方式产生影响，确保数据所有者有权控制自己的数据，它将限制AI在许多平台上使用。Analytics Vidhya创始人Kunal Jain给出了2019年AI道德预测：
（1）AI道德是一个灰色地带，我们需要制定一个其他人都遵循的框架。
（2）随着人工智能成为企业的工作重心，公司的最佳实践需要重新构造，治理方法需要重新绘制。
（3）希望政府在这方面发挥更积极作用，修改或者发布新的政策。2019年将是有趣的一年。
原文网址：
https://www.analyticsvidhya.com/blog/2018/12/key-breakthroughs-ai-ml-2018-trends-2019/
閱讀更多 深度學習社區 的文章
