順伝播と逆伝播

順伝播と逆伝播について理解します。

順伝播は、前の層のニューロン値を加重加算し、活性化関数を適用することによって、損失関数の値を計算します。逆伝播は、ネットワーク内のすべての重みに関する損失関数の勾配を計算します。重みは、ユーザーによって(重みの境界を設定することで)指定された領域内、または隣接する層内のノード数によって定義される(データ駆動の)領域内で均一に分布する乱数の集合で初期化されます。勾配は最適化手法に提供され、損失関数を最小化するために重みを更新するために使用されます。