Non bisogna capire come funziona un motore per guidare un’auto. Ma se si usa l’auto ogni giorno per lavoro, sapere quando portarla dal meccanico, perché la batteria si scarica e come si comporta nella frenata sul bagnato aiuta a usarla meglio e a evitare incidenti.
Lo stesso vale per i Large Language Model (LLM): non bisogna essere ingegneri del software per usare ChatGPT, ma capire alcuni principi fondamentali del loro funzionamento aiuta a usarli in modo più efficace, a riconoscere quando sbagliano e a non affidarsi a loro nei contesti sbagliati.
Questa spiegazione non usa formule matematiche o pseudocodice. Usa analogie e concetti di base che chiunque può tenere a mente senza un background tecnico. L’obiettivo non è la comprensione ingegneristica: è la comprensione funzionale.
Cosa sono i Large Language Model
Un Large Language Model (LLM) è un sistema di intelligenza artificiale addestrato su enormi quantità di testo — libri, articoli, siti web, codice, conversazioni — con l’obiettivo di imparare le relazioni statistiche tra le parole. Non impara a capire il significato delle parole nel modo in cui lo capisce un essere umano: impara a prevedere qual è la parola (o il token) più probabile dato il contesto precedente.
L’analogia più utile è quella della funzione di completamento automatico del telefono, portata a un livello di sofisticazione incomparabilmente maggiore. Quando il telefono suggerisce la parola successiva in un messaggio, lo fa analizzando i pattern nel testo che hai scritto e nel dizionario che ha imparato. Un LLM fa la stessa cosa, ma su una scala che permette di generare paragrafi, saggi, codice, conversazioni che sembrano prodotti da un essere umano. La differenza tra ‘sembra umano’ e ‘è umano’ è la cosa più importante da tenere a mente.
Come imparano: il processo di addestramento
Il pre-training: leggere quasi tutto il web
La prima fase dell’addestramento di un LLM è il pre-training: il modello viene esposto a enormi dataset di testo e impara a prevedere la parola successiva dato il contesto precedente. GPT-4, Claude, Gemini sono stati addestrati su testi che includono una parte significativa del web, libri digitalizzati, codice sorgente, articoli scientifici. La quantità di dati usata è dell’ordine dei trilioni di parole.
Questo processo è computazionalmente enormemente costoso — si parla di centinaia di milioni di dollari per i modelli più grandi — e richiede hardware specializzato (cluster di GPU o TPU). Una volta completato, il modello ha imparato a generare testo coerente su una vastissima gamma di argomenti. Ma ha anche imparato i bias presenti nei dati su cui è stato addestrato: se il web contiene certi stereotipi o certe prospettive sovra-rappresentate, il modello tende a riprodurli.
Il fine-tuning e il RLHF: insegnare a essere utile
Il pre-training produce un modello che sa generare testo ma non sa necessariamente essere utile in una conversazione.
La fase successiva è il fine-tuning, dove il modello viene addestrato specificamente per rispondere a domande, seguire istruzioni, tenere conversazioni. Una tecnica particolarmente importante è il RLHF (Reinforcement Learning from Human Feedback): esseri umani valutano le risposte del modello e il modello viene addestrato a produrre risposte simili a quelle valutate meglio.
È attraverso il RLHF che i modelli imparano a rispondere in modo utile, a evitare contenuti dannosi, a mantenere il tono appropriato.
Perché sbagliano: le allucinazioni spiegate
Le allucinazioni non sono un bug nel codice: sono una conseguenza del modo in cui questi modelli funzionano. Un LLM non ha accesso a un database di fatti verificati che consulta per rispondere. Genera testo statisticamente plausibile basandosi sui pattern che ha imparato. Se non ha informazioni affidabili su un argomento specifico, può comunque generare testo plausibile su quell’argomento che sembra una risposta accurata ma non lo è.
L’analogia utile: immaginate un relatore brillante che ha letto moltissimo ma non ha preparato la risposta a una domanda specifica. Può improvvisare una risposta che suona convincente mettendo insieme cose che sa, anche se quella risposta specifica non corrisponde ai fatti. La differenza è che il relatore umano sa quando non sa una cosa e può dirlo. Il modello linguistico non ha questo tipo di metacognizione in modo affidabile: può produrre una risposta falsa con la stessa fiducia apparente con cui produce una vera.
Cosa vuol dire che i modelli hanno un ‘taglio di conoscenza’
I Large Language Model hanno una data di taglio della conoscenza: imparano solo sui dati disponibili fino a un certo momento, dopo il quale non vengono aggiornati automaticamente. GPT-5 ha una data di taglio che esclude gli eventi più recenti.
Questo significa che se si chiede a un modello di eventi accaduti dopo la sua data di taglio, o non ha informazioni e lo dice, o — in alcuni casi — produce informazioni inventate con la stessa sicurezza apparente.
La soluzione tecnica più diffusa è la Retrieval Augmented Generation (RAG): il modello viene connesso a fonti di dati aggiornate che può consultare in tempo reale, come motori di ricerca o database aziendali.
ChatGPT con la web search attivata usa questo principio. Ma anche con RAG, la qualità dell’output dipende dalla qualità delle fonti consultate: spazzatura dentro, spazzatura fuori.
