木幽書
機器學習的知識點很多，這裡僅僅列出一部分主要知識點（中英對照）：
- 樣本（sample）、逼近（approximate）、分佈（distribution）
- 過擬合（overfitting）、迭代（iteration）、交叉驗證（cross validation）
- 前饋網絡（feedforward network）、sigmoid、softmax
- 成本函數（cost function）、梯度下降（gradient descent）、局部極小值（local minimum）、交叉熵（cross-entropy）
- 正則化（regularization）、數據增強（data augmentation）、多任務學習（multi-task learning）、及早停止（early stopping）、dropout、對抗（adversarial）
- 深度前饋網絡（deep feedforward network）、隱藏層（hidden layer）、殘差（residual）模型
- 線性整流函數（rectified linear unit，ReLU）、Modulated ReLU、maxout
- 隨機梯度下降（stochastic gradient descent）、動量（momentum）、指數衰減梯度（exponential decayed gradient）、自適應學習率（adaptive learning rate）、AdaGrad、RMSProp、Adam
- 牛頓法（Newton’s method） 、批量歸一化（batch normalization）、課程學習（curriculum learning）
- 卷積網絡（convolutional network）、最大池化（max pooling）
- 循環網絡（recurrent network）、沿時間反向傳播（backpropagation through time，BPTT）、長短時記憶（long short-term memory，LSTM）、門控循環單元（gated recurrent unit, GRU）、記憶網絡（memory network）、關注機制（attention mechanism）
- 自動編碼器（autoencoder）、表示空間（representation space）、損失函數（loss function）、稀疏自動編碼器（sparse autoencoder）、降噪自動編碼器（denoising autoencoder）、 收縮自動編碼器（contractive autoencoder）、預測自動編碼器（predictive autoencoder）
- 概率（probability）、邊緣概率（marginal probability）、鏈式法則（chain rule）、獨立（independent）、期望（expectation）、貝葉斯規則（Bayes rule）
- 自信息（self information）、香農熵（Shannon entropy）、KL散度（KL divergence）、交叉熵（cross entropy）、最大似然（maximum likelihood）、最大後驗（maximum a posteriori）
分享到:
