Equation normale

Motivation

Trouver les valeurs optimales de paramètres d'une hypothèse sans itérer.

Analyse

On sait que minimiser une fonction consiste à trouver quand sa dérivée est nulle. On va donc résoudre analytiquement la dérivée de $J(\theta )=0$.

Conception

qui trouve les valeurs optimales en un calcul matriciel s1"Derivation of the Normal Equation for linear regression", :

$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$

Sa complexité en $O\left(n^3\right)$ fait qu'il n'est pas recommandé si $n$ est grand (> 10000). A noter aussi que ce calcul n'est faisable que si $X$ est inversible (i.e. $m>n$). On lui préfèrera alors la descente de gradient.