Arphetian
推薦系統使用的SVD分解、張量分解、非負矩陣分解NMF，PCA主成分分析中求特徵值、矩陣運算，這些都是機器學習中重要的線性代數實例。下面我貼一下之前我用矩陣求導解最小二乘問題的公式推導過程的實例
最小二乘的解，可以通過梯度下降迭代或牛頓迭代方法求解，但也可以基於矩陣求導來計算，它的計算方式更加簡潔高效，不需要大量迭代，只需解一個正規方程組。
另外，最常見的邏輯迴歸模型，如果你要用牛頓迭代去解優化問題，求Hessian矩陣和矩陣分解都是線性代數的實例體現。
分享到:
推薦系統使用的SVD分解、張量分解、非負矩陣分解NMF，PCA主成分分析中求特徵值、矩陣運算，這些都是機器學習中重要的線性代數實例。下面我貼一下之前我用矩陣求導解最小二乘問題的公式推導過程的實例
最小二乘的解，可以通過梯度下降迭代或牛頓迭代方法求解，但也可以基於矩陣求導來計算，它的計算方式更加簡潔高效，不需要大量迭代，只需解一個正規方程組。
另外，最常見的邏輯迴歸模型，如果你要用牛頓迭代去解優化問題，求Hessian矩陣和矩陣分解都是線性代數的實例體現。
