GLMのソルバー

一般化線形モデル(GLM)アルゴリズムでは、様々なソルバーが適用されます。これらのソルバーは、最適化に様々な方法を採用しています。

GLMアルゴリズムでは、コレスキー、QR、確率的勾配降下(SGD)および(L-BFGSでの)交互方向乗数法(ADMM)の4つの異なるソルバーがサポートされています。コレスキーソルバーとQRソルバーは、古典的な分解アプローチを採用しています。コレスキー・ソルバーは、QRソルバーと比較して高速ですが、数値的な安定性に劣ります。QRソルバは、正則化の支援なしに、ランク落ち問題を適切に処理します。

SGDおよび(L-BFGSでの) ADMMソルバーは、大規模データに最適です。SGDソルバーは確率的勾配降下最適化アルゴリズムを採用しており、一方、(L-BFGSでの) ADMMは交互方向乗数法フレームワーク内でBFGS最適化アルゴリズムを使用します。SGDソルバーは高速ですが、パラメータに依存するため、適切な収束を実現するには適切なスケールのデータが必要です。L-BFGSアルゴリズムは、制約されていない最適化問題を解決し、SGDよりも安定性と堅牢性に優れています。また、L-BFGSはADMMを組み合せて使用するため、通信コストの低い効率的な分散最適化アプローチが実現します。