Modelli di Regressione

I Metodi di Regressione sono tecniche di Machine Learning per la creazione di modelli predittivi da dati di training.

I più noti e usati sono:

• Modelli di Regressione Lineare: dato un set di $n$ punti, trova la linea che meglio approssima quei punti
• Modelli di Regressione non Lineare: dato un set di $n$ punti, trova il polinomio che meglio approssima quei punti.
• Modelli di Regressione Logistica: dato un set di $n$ punti, trova un classificatore 0-1

Modelli univariati vs. modelli multivariati.

Modelli di Regressione Lineare

Le relazioni lineari sono facili da capire (visualizzazione) e utili per descrivere molti problemi:

• il reddito cresce linearmente con il tempo lavorato
• i prezzi delle case crescono linearmente con l’area
• il peso aumenta linearmente con il cibo mangiato

Molto utili anche come metodo di predizione: data una collezione di $n$ punti $\{p_1, p_2, ..., p_n\}$, cerchiamo la $f(x)$ che meglio spiega “fitta” questi punti.

Questa funzione $f(x)$ interpola o modella i punti, fornendo un modo per stimare il valore $y'$ associato a qualsiasi possibile $x'$, cioè che $y'=f(x')$. $y$ è la variabile che dipende dalla variabile indipendente $x$.

Rette di regressione ≠ rette di sistemi lineari

La grande differenza nella definizione della regressione lineare è che cerchiamo una linea che si avvicini il più possibile a tutti i punti.

Errore nella regressione lineare

L’errore residuo $r_i$ di una linea di regressione $f(x)$ è la differenza tra i valori previsti e quelli effettivi:

$$ r_i = y_i - f(xi) $$