在这篇文章中我尝试将近 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，为此不得不省略许多相关性较强同时也比较重要的技术事件。本文更偏向于选择与当前比较流行的神经网络技术相关的方向，这可能会给人一种错误的印象，即在这一时期没有其他有影响力的技术方法产生。需要特别强调的是，本文介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在这篇文章的最后一部分，我会着重介绍这些有影响力的非神经网络技术成果，它们为以后的 NLP 方法发展奠定了基础。
本文主要的内容如下：
- 2001 - 神经语言模型
- 2008 - 多任务学习
- 2013 - 词嵌入
- 2013 - NLP 神经网络
- 2014 - sequence-to-sequence 模型
- 2015 - 注意力机制
- 2015 - 基于记忆的网络
- 2018 - 预训练语言模型
- 其他的里程碑事件
- 传统算法里程碑事件
2001 - 神经语言模型
语言建模任务指的是给定前一个单词去预测文本中的下一个单词。它可能是比较简单的语言处理任务，具体的实际应用场景包括智能键盘、电子邮件回复建议（Kannan 等人， 2016）、拼写自动更正等。正如很多人所知，语言建模有着丰富的历史。其中比较经典的方法基于n-grams ，并使用平滑处理不可见的 n-grams（Kneser & Ney, 1995）。
第一个神经语言模型是 Bengio 等人在 2001 年提出的前馈神经网络，如图 1 所示。
英文原文：A Review of the Neural History of Natural Language Processing
中文：https://www.infoq.cn/article/66vicQt*GTIFy33B4mu9
分享到:
閱讀更多 架構師筆記 的文章
