Régularisation

Motivation

Atténuer la précision d'une hypothèse de modèle.

Analyse

Lors d'un calcul de coût d'une hypothèse, un coût nul ne signifie pas forcément que l'hypothèse est excellente. Cela peut plutôt paraître suspect et demande une vérification qu'il ne s'agit pas d'un cas de surapprentissage.

Conception

On ajoute à la fonction de coût une surévaluation de paramètres. Par ex :

$J=\frac{1}{m}\sum _{i=1}^{m}c(h_{\Theta },y)+\lambda \sum _{j=1}^n{\theta }_j^2$

ce qui ajoute au coût une pénalité qui augmente d'autant que les paramètres $\Theta$ augmente, et où $\lambda$ doit être suffisamment grand (1000 par ex) mais pas trop (sinon sous-apprentissage) pour que la minimisation du coût fasse tendre les $\theta$ vers zéro.

À noter que ${\theta }_0$ ne doit pas être régularisé.