E6_ML - KernelMethods - Examples Exercises.pdf

SVM

Il percettrone trova l’iperpiano per dati linearmente separabili, con diversi vantaggi:

• algoritmo facile da implementare
• è teoricamente provato che troverà un iperpiano separatore dei dati.

Ma come facciamo a trovare il miglior iperpiano in task di separabilità lineare? Con i SVM, che fanno esattamente questo.

Equazione dell’iperpiano:

$$ w\cdot x + b=0 $$

• $w$ è il vettore dei pesi
• $x$ è il vettore di input
• $b$ è il termine bias

Se il valore di $x$ soddisfa l’equazione, vuol dire che giace sull’iperpiano.

E se invece il punto non è sull’iperpiano? Possiamo comunque usare l’equazione per capire da che parte sta: se $wx+b$ è positiva, il ponto è sopra l’iperpiano, altrimenti sotto.

Con questo meccanismo funziona la regola di classificazione.

Margine funzionale

Dato un training example $(x,y)$, e un iperpiano definito da un vettore $w$ e un bias $b$, possiamo computare il numero $\beta = w\cdot x + b$ per trovare la distanza da quel punto e l’iperpiano.

Se moltiplichiamo $\beta$ per il valore di $y$,

$$ f = y(w\cdot x + b) $$

Il segno di $f$ sarà sempre: