正則化

正則化的目標是獲得簡單模型和避免過度似合。在MLilb中，支持下面正則化因子：

在這裡，$sign(w)$是表示$w$中所有實體的類標簽( $sign(\pm 1)$ )的向量。

與L1正則化問題比較，由於L2的平滑性，L2的正則化問題一般較容易解決。但是由於可以強化權重的稀疏性，L1正則化更能產生較小及更容易解釋的模型，而後者在特徵選擇是非常有用的。不正則化而去訓練模型是不恰當的，尤其是在訓練樣本數量較小的時候。