Finora, nello studio della statistica, ci siamo posti l'obiettivo di descrivere le caratteristiche di un fenomeno o di una coppia di fenomeni su una data popolazione, ovvero ci siamo occupati di statistica descrittiva. Ora vogliamo focalizzare la nostra attenzione sulla situazione in cui la rivelazione dei dati non avviene sull'intera popolazione, ma solo su un campione, e occuparci del problema di studiare se e come sia possibile estendere all'intera popolazione i risultati ottenuti dalla rilevazione sul campione. La statistica inferenziale è proprio la parte della statistica che ha per oggetto lo studio di queste problematiche.
Un punto fondamentale dell'inferenza statistica è la scelta del campione, che deve essere il più possibile rappresentativo della popolazione. Nella statistica inferenziale classica, si suppone che il campione venga scelto casualmente, riponendo fiducia nel fatto che la casualità giochi a favore della produczione di un campione che non abbia caratteristiche specifali e quindi si posssa ritenere un'immagine abbastanza fedele dell'intera popolazione. Il processo di scelta casuale del campione viene detto campionamento; esso è da interpretare come un esperimento casuale e da affrontare, di conseguenza, con gli strumenti del calcolo delle probabilità.
Il più semplice campionamento è il cosiddetto campionamento bernoulliano. Un campione bernoulliano, estratto da una popolazione di $N$ unità, non è altro che un campione ottenuto da $n$ estrazioni indipendenti, quindi con reimmissione. Chiaramente sarebbe più naturale pensare a estrazioni senza reimmissione (per evitare che in un campione una stessa unità statistica venga considerata più volte); tuttavia, se $N$ è sufficientemente grande e il rapporto $\frac n N$ è sufficientemente piccolo, è possibile dimostrare che le due tecniche di campionamento con o senza reimmissione producono risultati equivalenti. Per questo motivo, e per il fatto che in generale per un campione bernoulliano valgono proprietà più comode ai fini dei calcoli, si preferisce in pratica riferirsi allo schema con reimmissione.
Molti problemi di statistica inferenziale hanno per oggetto la stima di un parametro incognito della popolazione.
Ci sono due grandi classi di metodi per stimare i parametri incogniti:
Una stima puntuale di un parametro incognito è il risultato di un calcolo eseguito sui dati osservati su un particolare campione: il calcolo consente di ottenere un unico numero, stima del parametro.
La stima per intervallo invece consente di determinare un possibile intervallo di valori per il parametro incognito.
Un altro parametro che spesso occorre stimare è la varianza. In questo caso, tuttavia, le cose non vanno bene come per la stima della media e della proporzione: si verifica infatti che il metodo che verrebbe più naturale, cioè stimare la varianza della popolazione tramite la varianza dei dati campionari, in generale non è un metodo affidabile.
Ma che cosa ci garantisce l'affidabilità o meno di un metodo di stima puntuale? Campioni diversi portano a stume puntuali diverse, che possono essere più o meno lontane dal reale (e incognito) valore del parametro che vogliamo stimare. Per studiare questi aspetti, legati alla variabilità del campione, dobbiamo introdurre nuovi strumenti, in particolare il concetto di campione e di stimatore.
Indicata con $X$ la variabile aleatoria che interpreta il fenomeno d'interesse (che in questo contesto viene talvolta chiamata popolazione) ed estratto un particolare campione di numerosità $n$, i valori osservati $x_1,...,x_n$ si possono interpretare come particolari possibili valori delle variabili aleatorie $X_1,...,X_n$ (dette prima estrazione campionaria, seconda estrazione campionaria, ..., $n$-esima estrazione campionaria), che sono indipendenti e identicamente distribuite a $X$. Si comprende dunque come sia possibile definire un modello astratto, che consente di rappresentare tutti i possibili valori osservabili al variare del campione: sarà sufficiente assimilare un campiona casuale di dimensione $n$ a un insieme di $n$ variabili aleatorie $X_1,...,X_n$ indipendenti e identicamente distribuite a effettuare delle considerazioni teoriche a priori (cioè prima di estrarre effettivamente un campione), che giustificano la bontà dei metodi di stima che introdurremo, e ci permetterà al contempo di <controllare> la variabilità campionaria tramite gli strumenti del calcolo delle probabilità
Supponiamo di essere interessati a studiare la media incognita di un fenomeno, interpretato dalla variabile aleatoria $X$. Estraiamo un particolare campione e indichiamo con $\overline x$ la stima della media di $X$ che possiamo calcolare sulla base dei valori osservati nel campione estratto. Tale stima $\overline x$ della media non è altro che uno dei possibili valori della v.a. media campionaria $\overline X$:
$$ \overline X=\cfrac{X_1+X_2+...+X_n}{n} $$
essendo $X_1,...,X_n$ le variabili aleatorie che rappresentano un generico campione casuale. La media campionaria è un esempio di stimatore.