spazio delle istanze ($X$): la collezione di tutte le possibili istanze utili per qualche compito di learning. In termini statistici non è altro che lo spazio campione.
istanza: $x \in X$, ovvero un singolo oggetto preso dallo spazio delle istanze.
concetto: $c \subseteq X$, un sottoinsieme dello spazio delle istanze che descrive una classe di oggetti alla quale siamo interessati per costruire un modello di ML.
ipotesi: $h\subseteq X$
spazio delle ipotesi: $H$
esempio: $(x, f(x))$, prendo un’istanza e la vado ad etichettare con la sua classe di appartenenza. La funzione $f$ è detta funzione target.
training set: la raccolta degli esempi.
test
modello di machine learning: modello predittivo che viene addestrato tramite il training set e servirà per inferire nuove informazioni mai state osservate nel training set. Lo spazio delle ipotesi può quindi essere chiamato anche spazio dei modelli.
linguaggio delle ipotesi: il linguaggio che definisce lo spazio delle ipotesi / modelli
cross validation: ripeto $m$ volte la validazione su campioni diversi di input per evitare che un certo risultato derivi dalla fortuna
soddisfazione di un’ipotesi: un’istanza $x$ soddisfa un’ipotesi $h$ sse tutti i vincoli espressi da $h$ sono soddisfatti dai valori di $x$ e si indica con: $h(x) = 1$
un’ipotesi $h$ è consistente con un training set $D$ di un concetto target se e solo se $h(x) = c(x)$ per ogni esempio di train $\lang x, c(x)\rang \in D$.
$$ \text{Consistent}(h, D) := \forall \lang x, c(x)\rang \in D\ \ \ h(x) = c(x) $$
il version space (spazio delle versioni?) $\text{VS}_{H, D}$ , rispetto a uno spazio delle ipotesi $H$ e un training set $D$, è il sottoinsieme di ipotesi di $H$ consistente con tutti gli esempi di train.
$$ \text{VS}_{H, D} = \{h \in H \ \ | \ \ \text{Consistent}(h, D)\} $$
Si avrà, in realtà, a che fare con dati, di target e ipotesi, booleani e questo ambito è propriamente chiamato concept learning.
Il concept learning è la ricerca, nello spazio delle ipotesi, di funzioni che assumano valori all’interno di $\{0, 1\}$. In altre parole si parla di funzioni che hanno come dominio lo spazio delle ipotesi e come codominio 0 e 1.
$$ f: H \rarr \{0, 1\} $$