Fonction d'activation

Forward propagation.

Motivation

Transformer un signal continu en booléen.

Dans les NN.

Nom	Equation	Graphe	Commentaire
Signe (sign)	$g (x) = {\begin{cases} - 1 & pour & x < 0 \\ 0 & pour & x = 0 \\ 1 & pour & x > 0 \end{cases}$	0,0	Parfois utilisé pour la classification binaire
Marche (heaviside)	$g (x) = {\begin{cases} 0 & pour & x < 0 \\ 1 & pour & x > 0 \end{cases}$
Logistique (logistic)	$g (x) = \frac{1}{1 + e^{- x}}$		Utilisé pour la classification
Unité de REctification Linéaire (ReLU)	$g (x) = {\begin{cases} 0 & pour & x < 0 \\ x & pour & x > 0 \end{cases}$