Come funziona un LLM? La tecnologia dietro ChatGPT e i moderni chatbot AI

Ogni volta che usi ChatGPT, Gemini, Claude o un moderno chatbot A, forse non lo sai ma stai parlando con un LLM. Ma cos'è realmente? Un gigantesco database? Un motore di ricerca evoluto? O qualcosa di completamente diverso?

Molte persone immaginano un LLM come una specie di enciclopedia intelligente: fai una domanda, lui "cerca" la risposta e te la restituisce. In realtà il suo funzionamento è molto diverso — e capire questa differenza è la chiave per usare bene l'intelligenza artificiale, sia in ambito personale che aziendale.

In questa guida partiamo dalla domanda più semplice ("cos'è un LLM?") e arriviamo, passo dopo passo, a capire perché un LLM da solo non basta per costruire un vero assistente virtuale aziendale.

Cos'è un LLM (Large Language Model)

Un LLM (Large Language Model), in italiano grande modello linguistico, è un sistema di intelligenza artificiale progettato per comprendere e generare testo in linguaggio naturale. Volendo spiegarne il funzionamento senza entrare in dettagli troppo tecnici, possiamo dire che si tratta di un modello matematico che, ricevuto un testo in input, genera la risposta "un pezzo alla volta", calcolando di volta in volta quale token (cioè una parola o un frammento di parola) sia il più probabile da produrre come passo successivo.

Sembra riduttivo, ma è esattamente da questo meccanismo che nascono le conversazioni fluide che conosciamo. Scomponiamo il nome:

• Large (grande): il modello ha miliardi — nei casi più avanzati centinaia di miliardi — di parametri, cioè "manopole" numeriche regolate durante l'addestramento. È questa scala enorme a rendere possibile la comprensione di sfumature, contesto e stili diversi.
• Language (linguistico): lavora sul linguaggio naturale — quello che scriviamo e parliamo ogni giorno — in decine di lingue, incluso il codice di programmazione.
• Model (modello): non è un archivio di frasi, ma una rappresentazione matematica di come funziona il linguaggio. Proprio come un modello meteorologico non contiene "tutte le giornate di pioggia della storia" ma le regole per prevedere il tempo.

Il punto fondamentale che bisogna tenere a mente è che un LLM non è un database. Non contiene documenti da consultare. Contiene relazioni statistiche apprese analizzando miliardi di frasi in decine di lingue.

Come un LLM impara il linguaggio

Durante l'addestramento, il modello "legge" una quantità enorme di testo: miliardi di pagine web, libri, articoli, pagine di Wikipedia, documentazione tecnica, codice sorgente. Parliamo di migliaia di miliardi di parole: un volume di dati talmente vasto che nessun essere umano potrebbe leggerlo nemmeno avendo a disposizione migliaia di vite.

Ma attenzione al verbo "legge": il modello non memorizza le frasi come farebbe un archivio. Quello che fa è regolare i suoi miliardi di parametri per catturare le relazioni tra le parole: quali parole tendono a comparire insieme, in quali contesti, con quale significato.

È un po' come imparare una lingua vivendo in un paese straniero: dopo anni non ricordi le singole conversazioni che hai sentito, ma hai interiorizzato come si costruiscono le frasi, quali espressioni suonano naturali e quali no.

Come riconosce i pattern: il ruolo della probabilità

Il cuore di un LLM è il riconoscimento di schemi ricorrenti, i cosiddetti pattern. Qualche esempio concreto:

Se durante l'addestramento il modello incontra milioni di volte frasi come "Roma è la capitale di…", imparerà che la continuazione più probabile è "Italia". Se legge "Buongiorno, come…", prevederà con altissima probabilità "stai?".

Quando il modello genera una risposta, non sta "ricordando" una frase letta da qualche parte: sta calcolando, parola dopo parola, qual è la continuazione più probabile dato il contesto e il testo precedente. Su domande semplici questo produce risposte prevedibili e quasi sempre corrette. Su domande complesse, il modello combina migliaia di pattern appresi per costruire risposte nuove, mai scritte da nessuno prima.

I token: perché un LLM non legge le parole

Ecco un dettaglio tecnico che pochi conoscono ma che spiega molte cose: un LLM non lavora con le parole, ma con i token. Un token è un frammento di testo — a volte una parola intera, a volte un pezzo di parola, a volte un segno di punteggiatura — che il modello converte in numeri.

Ad esempio, la parola "casa" corrisponde in genere a un singolo token, mentre una parola più lunga come "internazionalizzazione" viene suddivisa in più token. Anche una frase molto semplice come "Ciao, come stai?" viene spezzata in più elementi: "Ciao", ",", "come", "stai" e "?" possono essere trattati come token distinti.

Come regola pratica, in italiano 1.000 token corrispondono a circa 600-700 parole. Perché è importante saperlo? Perché tutto nel mondo degli LLM si misura in token: i costi di utilizzo, i limiti di lunghezza delle conversazioni, la velocità di risposta.

Cosa succede davvero quando scrivi una domanda

Questa è forse la parte più affascinante. Quando invii un messaggio a un chatbot AI, dietro le quinte succede questo:

1. Il modello riceve il prompt, cioè il tuo messaggio insieme al contesto della conversazione (e ad alcune regole che definiscono il tipo di risposta da fornire).
2. Lo divide in token e li converte in numeri.
3. Interpreta il contesto: analizza le relazioni tra tutti i token per capire di cosa si sta parlando, il tono, l'intento.
4. Calcola le probabilità per generare il token iniziale: tra decine di migliaia di possibilità, quale ha più senso come inizio della risposta?
5. Genera il primo token.
6. Ricomincia il calcolo includendo il token appena generato, e produce il secondo. Poi il terzo. E così via.

La risposta che vedi apparire, parola dopo parola, sullo schermo non è un effetto grafico: è letteralmente il modello che genera un token alla volta, ricalcolando le probabilità a ogni passo. È proprio questo meccanismo di generazione progressiva del testo che ha dato origine al termine intelligenza artificiale generativa: il modello non recupera una risposta già esistente, ma la crea al volo, un pezzetto alla volta.

Perché il contesto è così importante

Un LLM non ha memoria propria tra una conversazione e l'altra. Tutto quello che "sa" della vostra conversazione sta nel contesto che gli viene fornito a ogni messaggio. Il contesto include:

• Il prompt: la domanda o istruzione che scrivi.
• Il system prompt: istruzioni invisibili all'utente che definiscono il comportamento del modello (il tono, il ruolo, le regole da seguire). È qui che un chatbot aziendale "impara" a presentarsi come assistente della tua azienda.
• I messaggi precedenti: la cronologia della conversazione, che permette al modello di ricordare cosa avete già detto.
• La temperatura: un parametro tecnico che regola quanto il modello è "creativo". Temperatura bassa = risposte più prevedibili e precise; temperatura alta = risposte più varie e originali.

Un contesto ben costruito è ciò che distingue un chatbot generico da un assistente virtuale capace di rispondere in modo davvero pertinente. Per questo non tutti i chatbot AI sono uguali, anche quando utilizzano lo stesso modello linguistico e gli stessi contenuti: la qualità delle risposte dipende da come il sistema è stato progettato e configurato — dal system prompt, dalla gestione del contesto, dai parametri del modello e dalle regole definite dagli sviluppatori.

Perché un LLM può sbagliare

Ora che sappiamo come funziona, capire perché a volte sbaglia diventa quasi ovvio. Un LLM può dare risposte errate perché:

• Le sue informazioni non sono aggiornate: il modello conosce solo ciò che esisteva fino alla data del suo addestramento (il cosiddetto knowledge cutoff).
• Non conosce la tua realtà specifica: la tua azienda, i tuoi prodotti, le tue procedure non facevano parte dei dati di addestramento.
• La domanda è ambigua: se il prompt può essere interpretato in più modi, il modello sceglie l'interpretazione statisticamente più comune, che non è sempre quella che intendeva l'interlocutore.
• Il contesto è insufficiente: senza informazioni adeguate, il modello riempie i vuoti come può.
• La risposta è statisticamente plausibile ma fattualmente sbagliata: e questo ci porta al punto più delicato...

Le cosiddette "allucinazioni"

Quando un LLM genera con sicurezza un'informazione falsa — una data inventata, una fonte inesistente, un dato sbagliato — si parla di allucinazione. Non è un bug, ma una conseguenza diretta del funzionamento che abbiamo descritto: il modello genera sempre la continuazione più probabile, e a volte la frase più "probabile" dal punto di vista linguistico è semplicemente falsa dal punto di vista fattuale.

Il modello non sta mentendo: non ha il concetto di vero e falso, ha solo il concetto di probabile. Per questo, in contesti aziendali dove la precisione conta, le allucinazioni sono il problema numero uno da gestire — e vanno affrontate a livello di progettazione del sistema, non sperando che "capiti di rado".

Perché un LLM non conosce la tua azienda

Facciamo un passo che riguarda direttamente chi valuta un chatbot AI per il proprio business. Un LLM è stato addestrato sulla conoscenza pubblica del mondo: sa cos'è un e-commerce, come funziona un hotel, cosa fa un commercialista.

Ma non conosce:

• il tuo catalogo prodotti e i tuoi prezzi;
• i tuoi regolamenti, le condizioni di vendita, le policy di reso;
• i tuoi PDF, manuali e documentazione interna;
• i dati del tuo CRM e la storia dei tuoi clienti;
• le tue disponibilità, i tuoi orari, le tue promozioni attive.

E non può impararli "da solo": queste informazioni non erano nei dati di addestramento che gli sono stati forniti e, soprattutto, cambiano continuamente. Tienilo a mente, perché è esattamente il problema che la tecnologia RAG è nata per risolvere.

Dove un LLM è straordinario

Prima di parlare dei limiti, va detto chiaramente: negli ambiti giusti, gli LLM sono strumenti eccezionali. Danno il meglio in:

• Brainstorming: generare idee, esplorare alternative, sbloccare la pagina bianca.
• Scrittura: bozze, email, testi, riformulazioni in tono diverso.
• Traduzioni: fluide e sensibili al contesto, ben oltre la traduzione parola per parola.
• Riassunti: condensare documenti lunghi nei punti essenziali.
• Programmazione: scrivere, spiegare e correggere codice.
• Supporto conversazionale: rispondere in modo naturale, cortese e coerente, 24 ore su 24.
• Ricerca e analisi: organizzare informazioni, confrontare opzioni, individuare schemi in un testo.

Dove un LLM da solo non basta

Il quadro cambia quando servono informazioni specifiche, aggiornate e verificabili. Un LLM da solo non può:

• rispondere con dati aggiornati in tempo reale;
• consultare il tuo catalogo o il tuo listino;
• attingere alla tua documentazione aziendale;
• verificare disponibilità di prodotti, camere o appuntamenti;
• dialogare con il tuo gestionale (ERP) o il tuo CRM;
• gestire prenotazioni o fornire il tracking di un ordine.

Per un'azienda, questa è la differenza tra un chatbot che "chiacchiera bene" e un assistente virtuale che risolve davvero le richieste dei clienti.

È qui che entra in gioco la RAG

La soluzione a questo limite si chiama RAG (Retrieval-Augmented Generation): una tecnologia che collega l'LLM a una base di conoscenza esterna — i tuoi documenti, il tuo catalogo, le tue FAQ — e gli fornisce le informazioni giuste al momento giusto, prima di generare la risposta.

In pratica: il modello continua a fare quello che sa fare meglio (comprendere e generare linguaggio naturale), ma le risposte si basano sui tuoi dati, non solo sulla conoscenza generica appresa in addestramento. E questo fa una enorme differenza.

Un LLM non è un motore di ricerca

A questo punto possiamo chiarire una volta per tutte una confusione molto comune. Google, un LLM e un sistema RAG fanno tre cose diverse:

• Un motore di ricerca (Google) → trova pagine web esistenti e te le elenca. Sei tu a leggere e trovare la risposta.
• Un LLM (ChatGPT, Claude, Gemini) → genera testo nuovo basandosi su ciò che ha appreso. Ti dà direttamente una risposta, ma senza consultare fonti in tempo reale.
• Un sistema RAG → recupera le informazioni rilevanti da una base di conoscenza e poi genera la risposta basandosi su quelle. Unisce il meglio dei due mondi: informazioni verificabili + linguaggio naturale.

I limiti tecnici che è bene conoscere

Per completare il quadro, ecco i limiti tecnici che chiunque lavori con gli LLM dovrebbe avere presenti:

• Context window: il modello può "tenere a mente" solo una quantità limitata di token per conversazione. I modelli più recenti gestiscono contesti molto ampi (centinaia di migliaia di token), ma il limite esiste sempre: superato, le informazioni più vecchie escono dal contesto.
• Costo per token: ogni token elaborato ha un costo. Conversazioni lunghe e documenti estesi si pagano.
• Latenza: generare una risposta richiede tempo di calcolo; risposte lunghe e modelli grandi sono più lenti.
• Knowledge cutoff: la conoscenza del modello si ferma alla data di addestramento.
• Aggiornamenti del modello: quando il fornitore aggiorna un modello, il comportamento può cambiare, e va verificato.
• Allucinazioni: come abbiamo visto, il modello può generare informazioni plausibili ma false.
• Privacy: i dati inviati a un LLM vanno gestiti con attenzione, soprattutto se contengono informazioni personali o riservate. La scelta del fornitore e della configurazione fa la differenza, anche in ottica GDPR.

Cosa significa tutto questo per un'azienda

Se sei arrivato fin qui, probabilmente hai capito una cosa: non tutti i chatbot AI sono uguali, anche se sulla carta promettono funzionalità molto simili.

Dietro a un buon assistente virtuale ci sono numerosi elementi che lavorano insieme: il modello linguistico utilizzato, il sistema che recupera le informazioni aziendali, la qualità della base di conoscenza, il modo in cui viene costruito il contesto della conversazione e le regole che guidano il comportamento del chatbot.

L'azienda che acquista il servizio non deve necessariamente conoscere tutti questi aspetti tecnici, ma è utile sapere che sono proprio questi dettagli a fare la differenza tra un chatbot che risponde in modo generico e uno che fornisce risposte affidabili, pertinenti e realmente utili ai clienti.

In altre parole, scegliere un chatbot AI non significa semplicemente scegliere un modello come ChatGPT, Gemini o Claude. Significa scegliere una soluzione che sia stata progettata, configurata e addestrata per rispondere alle esigenze specifiche della propria attività.

Un LLM è il motore che rende possibile una conversazione naturale con un'intelligenza artificiale: comprende le domande, genera risposte fluide, si adatta al contesto. Ma, da solo, non conosce la tua azienda e non può accedere ai tuoi dati.

Per trasformarlo in un vero assistente aziendale servono una base di conoscenza aggiornata, integrazioni con i sistemi che usi ogni giorno e una tecnologia come la RAG che mantenga l'assistente ancorato ai dati reali della tua azienda. Questo è esattamente l'approccio su cui è costruito IKIbrain: un assistente virtuale che risponde con le informazioni della tua azienda e che puoi configurare al meglio per rispettare le tue regole e il tuo tono.