一、简介
fasttext是facebook开源的一个词向量与文本分类工具，在2016年开源，典型应用场景是“带监督的文本分类问题”。提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。它使用词袋以及n-gram袋表征语句，还有使用子字(subword)信息，并通过隐藏表征在类别间共享信息，并且采用了一个softmax层级(利用了类别不均衡分布的优势)来加速运算过程。
fastText开源、免费、轻量级，适用于文本分类和文本向量化表示场景，运行于标准硬件环境。裁剪压缩过的模型甚至可以轻松跑在移动设备上。当然，fastText最惊艳的地方在于，和最前沿深度神经网络模型相比，它在分类精度等指标毫不逊色的情况下，把训练和推断速度降低了几个数量级！按Facebook的报告，在普通多核CPU上，10亿词的文本训练时间小于10分钟，50万句子分到31.2万类别用时小于1分钟。
通过下面实验结果可以看出，fasttext真的很强大。
二、FastText原理
fastText方法包含模型架构，层次SoftMax和N-gram特征。
1、 模型架构
fastText的架构和word2vec中的CBOW的架构类似，当然他们同属于一个作者-Facebook的科学家Tomas Mikolov，通过两者的网络结果分析，fastText也的确是words2vec模型的衍生，对比一下两者的网络结构
（1）CBOW
(2)fasttext
2 、fastText和word2vec的异同
相似处：
图模型结构很像，都是采用embedding向量的形式，得到word的隐向量表达。都采用很多相似的优化方法，比如使用Hierarchical softmax优化训练和预测中的打分速度。
不同处：
模型的输出层：word2vec的输出层，对应的是每一个term，计算某term的概率最大；而fasttext的输出层对应的是 分类的label。不过不管输出层对应的是什么内容，起对应的vector都不会被保留和使用；
模型的输入层：word2vec的输出层，是 context window 内的term；而fasttext 对应的整个sentence的内容，包括term，也包括 n-gram的内容；
两者本质的不同，体现在层次SoftMax的使用：
Wordvec的目的是得到词向量，该词向量 最终是在输入层得到，输出层对应的 h-softmax 也会生成一系列的向量，但最终都被抛弃，不会使用。
fasttext则充分利用了h-softmax的分类功能，遍历分类树的所有叶节点，找到概率最大的label。
3、 层次SoftMax
Softmax大家都比较熟悉，它是逻辑回归(logisticregression)在多分类任务上的推广，是我们训练的神经网络中的最后一层。一般地，Softmax以隐藏层的输出h为输入，经过线性和指数变换后，再进行全局的归一化处理，找到概率最大的输出项。当词汇数量V较大时（一般会到几十万量级），Softmax计算代价很大，是O(V)量级。
层次化的Softmax的思想实质上是将一个全局多分类的问题，转化成为了若干个二元分类问题，从而将计算复杂度从O(V)降到O(logV)。每个二元分类问题，由一个基本的逻辑回归单元来实现。如下图所示，从根结点开始，每个中间结点（标记成灰色）都是一个逻辑回归单元，根据它的输出来选择下一步是向左走还是向右走。下图示例中实际上走了一条“左-左-右”的路线，从而找到单词w₂。而最终输出单词w₂的概率，等于中间若干逻辑回归单元输出概率的连乘积。
对于有大量类别的数据集，fastText使用了一个分层分类器（而非扁平式架构）。不同的类别被整合进树形结构中（其实就是哈夫曼树，减少其复杂度）。在某些文本分类任务中类别很多，计算线性分类器的复杂度高。为了改善运行时间，fastText 模型使用了层次 Softmax 技巧。层次 Softmax 技巧建立在哈弗曼编码的基础上，对标签进行编码，能够极大地缩小模型预测目标的数量。
fastText 也利用了类别（class）不均衡这个事实（一些类别出现次数比其他的更多），通过使用 Huffman 算法建立用于表征类别的树形结构。因此，频繁出现类别的树形结构的深度要比不频繁出现类别的树形结构的深度要小，这也使得进一步的计算效率更高。
霍夫曼树的构造
Hierarchical Softmax采用的树型结构实际上是一棵二叉霍夫曼树。
霍夫曼树是在解决通信编码过程中引入的。在通信过程中，需要将字符信息编码成为0/1二进制串。显然，给出现频繁的字符较短的编码，出现较少的字符以较长的编码，是最经济的方案。通过一棵霍夫曼树的构造，我们让越频繁的字符离根结点越近，使得最终的通信编码最短。
霍夫曼树的构造步骤如下：
在做Hierarchical Softmax之前，我们需要先利用所有词汇（类别）及其频次构建一棵霍夫曼树。这样，不同词汇（类别）作为输出时，所需要的判断次数实际上是不同的。越频繁出现的词汇，离根结点越近，所需要的判断次数也越少。从而使最终整体的判断效率更好。
4、N-grams特征
我们常用的特征是词袋模型。但词袋模型不能考虑词之间的顺序，因此 fastText 还加入了 N-gram特征。加入N-gram特征可以有效的防止同词不同意的情况，为了提高效率，我们需要过滤掉低频的 N-gram。
三、总结
fastText的学习速度比较快，分类效果好，适用与分类类别非常大而且数据集足够多的情况，当分类类别比较小或者数据集比较少的话，很容易过拟合。可以完成无监督的词向量的学习，也可以用于有监督学习的文本分类任务。
閱讀更多 機器學習與數據挖掘 的文章
