木幽书
机器学习的知识点很多，这里仅仅列出一部分主要知识点（中英对照）：
- 样本（sample）、逼近（approximate）、分布（distribution）
- 过拟合（overfitting）、迭代（iteration）、交叉验证（cross validation）
- 前馈网络（feedforward network）、sigmoid、softmax
- 成本函数（cost function）、梯度下降（gradient descent）、局部极小值（local minimum）、交叉熵（cross-entropy）
- 正则化（regularization）、数据增强（data augmentation）、多任务学习（multi-task learning）、及早停止（early stopping）、dropout、对抗（adversarial）
- 深度前馈网络（deep feedforward network）、隐藏层（hidden layer）、残差（residual）模型
- 线性整流函数（rectified linear unit，ReLU）、Modulated ReLU、maxout
- 随机梯度下降（stochastic gradient descent）、动量（momentum）、指数衰减梯度（exponential decayed gradient）、自适应学习率（adaptive learning rate）、AdaGrad、RMSProp、Adam
- 牛顿法（Newton’s method） 、批量归一化（batch normalization）、课程学习（curriculum learning）
- 卷积网络（convolutional network）、最大池化（max pooling）
- 循环网络（recurrent network）、沿时间反向传播（backpropagation through time，BPTT）、长短时记忆（long short-term memory，LSTM）、门控循环单元（gated recurrent unit, GRU）、记忆网络（memory network）、关注机制（attention mechanism）
- 自动编码器（autoencoder）、表示空间（representation space）、损失函数（loss function）、稀疏自动编码器（sparse autoencoder）、降噪自动编码器（denoising autoencoder）、 收缩自动编码器（contractive autoencoder）、预测自动编码器（predictive autoencoder）
- 概率（probability）、边缘概率（marginal probability）、链式法则（chain rule）、独立（independent）、期望（expectation）、贝叶斯规则（Bayes rule）
- 自信息（self information）、香农熵（Shannon entropy）、KL散度（KL divergence）、交叉熵（cross entropy）、最大似然（maximum likelihood）、最大后验（maximum a posteriori）
分享到:
