ニューロンと活性化関数

ニューロンでは、シグモイドや正規化線形ユニット(ReLU)などの加重合計と活性化関数によって入力が処理されます。

ニューロンは、様々な重みを持つ入力値を1つ以上取得し、その入力値に依存する出力値を持ちます。出力は、各ニューロンの入力値に重みを付けて加算し、その和を活性化関数に供給することで実現されます。

通常、シグモイド関数が最も多く活性化関数として選択されますが、その他の非線形関数、区分線形関数または階段関数も使用されます。正規化線形ユニット関数NNET_ACTIVATIONS_RELUは、よく使用される活性化関数で、比較的大規模なニューラル・ネットワークにおける勾配が低減する問題に対処します。

次に、活性化関数の例を示します。

• ロジスティック・シグモイド関数

• 線形関数

• tanh関数

• Arctan関数

• バイポーラ・シグモイド関数

• 正規化線形ユニット