E7_ML - Bayes decisions - Examples Exercises.pdf

Appunti

Formula di Bayes:

$$ P(H|e) = \frac{P(e\ | H) \ P(H)}{P(e)} $$

Dove:

• $P(H)$ = prior probability dell’ipotesi $H$
• $P(e)$ = prior probabiilty dei dati di train $e$
• $P(H \ | \ e)$ = probabilità di $H$ data $e$
• $P(e \ | \ H)$ = probabilità di $e$ data $H$

Focus:

• Prior $P(h)$

  Quanto probabile era la nostra ipotesi prima di osservare l’evidenza?

• Likelihood $P(e \ | \ H)$

  Quanto probabile è l’evidenza sapendo che l’ipotesi è vera?

  $P(D \ | \ H)$ è la probabilità di osservare $D$ dato un mondo in cui $H$ è vera

• Evidence Probability $P(e)$

  Quanto probabile è la nuova evidenza sotto tutte le possibili ipotesi?

  $P(e) = avg[P(e \ | \ H) \ P(H)]$

  $P(D)$ prior probability di $D$, probabilità che $D$ verrà osservato

• Posterior $P(H \ | \ d)$

  Quanto probabilie è la nostra ipotesi data l’evidenza osservata?

Ci potremo chiedere come applicare questa formula in modo pratico:

→ Maximum A Posteriori (MAP) entra in gioco.

MAP: Maximum A Posteriori

In tanti scenari di apprendimento, il learner considera alcuni set di ipotesi candidate $H$ ed è interessato a trovare l’ipotesi più probabile $h \in H$ dato il training data $D$ osservato.