Fonction de coût

Motivation

Déterminer si une modélisation (régression, NN) est proche de la réalité.

Analyse

En supposant $\Theta$ comme le vecteur des paramètres à tester, on détermine une "fonction de coût" comme suit :

1. Pour chacune des valeurs ($i$ de 1 à $m$), on calcule l'erreur entre valeur prédite $h_{\Theta }\left(x^{\left(i\right)}\right)$ et une valeur réelle/connue $y^{\left(i\right)}$
2. on prend la moyenne de ces erreurs en divisant par $m$

Autrement dit :

$J(\Theta )=\frac{1}{m}\sum _{i=1}^m\text{cost}\left(h_{\Theta }(x^{\left(i\right)},y^{\left(i\right)})\right)$

où $\text{cost}$ est la fonction de coût partielle (pour une ligne de données $i$).

Exemples

Les fonctions de coût sont utilisées dans divers algorithmes de ML :

• régression linéaire
• régression non-linéaire
• régression logistique
• réseau de neurones

Notes

• Attention, un coût nul ne signifie pas forcément que l'hypothèse est excellente. Cela peut plutôt paraître suspect et demande une vérification qu'il ne s'agit pas d'un cas de surapprentissage.
• Une fonction de coût est en fait une "fonction d'objectif" visant à être minimisée. Il peut exister d'autres fonctions dont l'objectif est de les maximiser par exemple.