I Large Language Models (LLM) sono dei modelli che predicono il testo che seguirà dato un prompt usando metodi probabilistici.
A volte vengono chiamati “pappagalli stocastici”. Questo spiega perchè fanno un po’ fatica a lavorare con i numeri.
Si tratta in sostanza di modelli di Machine Learning allenati su quantità di testo massive.
I vantaggi chiave sono:
Abbiamo quindi un modello probabilistico che assegna una probabilità a ogni sequenza finita (grammatica o meno)
Ci sono due tipi di modelli:
Più grande è il modello più sono costosi durante l’inferenza. LM di dimensioni diverse hanno diversi modi di adattarsi e per usarli (fine-tuning, zero-shot/few-shot prompting, in-context learning…)
C’è quindi un trade-off tra la dimensione del modello e la dimensione del “corpus”.
Promessa: un solo modello per risolvere tante task NLP.
L’AI generativa cambia la modalità di integrazione nella gestione, memorizzazione e interrogazione di dati e informazioni.
Si parla di interazione in linguaggio naturale non solo per la conoscenza contenuta nei sistemi AI, ma anche per accesso a informazioni strutturate (esempio: domanda in linguaggio naturale → interrogazione SQL → restituzione in linguaggio naturale).
Si ha quindi la capacità di analizzare diverse sorgenti dati (testi, audio, dati strutturati)