ニューラル・ネットワーク・アルゴリズム用のAdam最適化ソルバー

Adamは、計算効率が高くメモリーをほとんど必要とせず、データまたはパラメータ(あるいはその両方)に関して大きい問題によく適しているニューラル・ネットワーク・アルゴリズム用の最適化ソルバーです。

Adamは、確率的勾配降下の一般的な拡張機能です。これは、ミニバッチ最適化を使用し、直線探索を使用して他のニューラル・ネットワーク最適化ソルバーのLimited-memory Broyden–Fletcher–Goldfarb–Shanno (L-BFGS)よりも参照するデータを少くなくすることで、進捗を早めることができます。