ニューロンと活性化関数
ニューロンは、ニューラル・ネットワークの構築要素です。
ニューロンは、様々な重みを持つ入力値を1つ以上取得し、その入力値に依存する出力値を持ちます。出力は、各ニューロンの入力値に重みを付けて加算し、その和を活性化関数に供給することで実現されます。
通常、シグモイド関数が最も多く活性化関数として選択されますが、その他の非線形関数、区分線形関数または階段関数も使用されます。正規化線形ユニット関数NNET_ACTIVATIONS_RELU
は、よく使用される活性化関数で、比較的大規模なニューラル・ネットワークにおける勾配が低減する問題に対処します。
次に、活性化関数の例を示します。
-
ロジスティック・シグモイド関数
-
線形関数
-
tanh関数
-
Arctan関数
-
バイポーラ・シグモイド関数
-
正規化線形ユニット