Fonction de coût

Motivation

Déterminer si une modélisation (régression, NN) est proche de la réalité.

Analyse

En supposant `Θ` comme le vecteur des paramètres à tester, on détermine une "fonction de coût" comme suit :

1. Pour chacune des valeurs (`i` de 1 à `m`), on calcule l'erreur entre valeur prédite `h_Θ(x^((i)))` et une valeur réelle/connue `y^((i))`
2. on prend la moyenne de ces erreurs en divisant par `m`

Autrement dit :

`J(Θ) = 1/m sum_(i=1)^m "cost"(h_Θ(x^((i)), y^((i))))`

où `"cost"` est la fonction de coût partielle (pour une ligne de données `i`).

Exemples

Les fonctions de coût sont utilisées dans divers algorithmes de ML :

• régression linéaire
• régression non-linéaire
• régression logistique
• réseau de neurones

Notes

• Attention, un coût nul ne signifie pas forcément que l'hypothèse est excellente. Cela peut plutôt paraître suspect et demande une vérification qu'il ne s'agit pas d'un cas de surapprentissage.
• Une fonction de coût est en fait une "fonction d'objectif" visant à être minimisée. Il peut exister d'autres fonctions dont l'objectif est de les maximiser par exemple.