RAG: cos'è, come funziona e differenze col fine-tuning

L’indagine condotta da Gartner tra gennaio e aprile 2026 su 1303 responsabili operativi di imprese con almeno 50 milioni di dollari di fatturato annuo registra un divario netto tra risorse allocate ed esiti industriali: solo il 22% delle organizzazioni è riuscito a portare l’AI su scala tra più unità di business o ad adottare un modello operativo basato primariamente sull’intelligenza artificiale. Il restante 78% non ha superato la fase pilota o non ha raggiunto un’integrazione stabile tra i reparti.

La spesa continua a salire. L’85% dei leader funzionali prevede di aumentare il budget nel 2026, dopo aver destinato all’AI una media del 12% delle risorse di reparto nel 2025. C’è anche una quota consistente di disattenzione contabile: circa l’11% dei responsabili dichiara di ignorare del tutto quanto la propria divisione abbia speso in progetti di intelligenza artificiale durante il 2025. Come ha rilevato Tina Nunno, Distinguished Vice President e Gartner Fellow: «La mancanza di visibilità finanziaria amplifica i rischi proprio mentre le uscite accelerano; senza una misurazione rigorosa legata in modo diretto ai risultati di business, le organizzazioni rischiano di sprecare risorse e mancare le aspettative».

I risultati economici positivi si concentrano dove esiste controllo di gestione. Le realtà definite ad alte prestazioni (quelle che monitorano con costanza il rendimento delle iniziative, gestiscono l’AI come un portafoglio di valore, valutano le performance con regolarità e riallocano o interrompono i progetti con scarsi ritorni) registrano ritorni positivi nell’81% dei casi. Le aziende a basse prestazioni ammettono invece di non conoscere il tasso di rendimento per il 29% delle proprie attività.

La maggior parte delle funzioni aziendali privilegia i guadagni immediati di produttività a discapito della trasformazione dei processi o dello sviluppo di nuove fonti di ricavo. L’efficienza operativa rappresenta il traguardo principale per il 75% dei responsabili e assorbe circa il 30% della spesa complessiva in AI, quasi il doppio rispetto alla seconda voce di bilancio. Nei reparti IT emerge inoltre un disallineamento documentato tra i casi d’uso più frequenti e quelli che generano effettivo margine economico: i vertici aziendali hanno avviato progetti soprattutto nel rilevamento e risposta alle minacce informatiche (54%), nell’automazione del service desk (54%) e nella generazione e refactoring del codice (44%). Tuttavia, i tre ambiti che hanno registrato la quota più alta di ritorni economici positivi sono stati l’ottimizzazione intelligente dei costi e degli asset IT (40%), la generazione di dati sintetici (28%) e, solo al terzo posto, la generazione e refactoring del codice (23%).

Il nodo tecnico alla base di questi risultati insoddisfacenti risiede spesso nel tentativo di impiegare modelli linguistici generici direttamente sui processi interni, senza un’infrastruttura capace di collegare gli algoritmi alla documentazione privata dell’impresa.

Limiti dei modelli linguistici generativi sui dati proprietari

I modelli linguistici di grandi dimensioni (LLM) presentano due vincoli strutturali analizzati nelle guide tecniche di Google Cloud e IBM.

Il primo limite è la data di chiusura dell’addestramento, definita knowledge cutoff. Un foundation model standard formula risposte elaborando le informazioni pubbliche acquisite durante la fase di pre-addestramento (pagine web, documenti di pubblico dominio, dataset aperti). Quando la sessione di addestramento si conclude, i parametri matematici della rete vengono congelati: il modello ignora qualsiasi evento successivo e non ha accesso alla documentazione privata aziendale, come contratti di fornitura, distinte base, ordini di produzione o manuali tecnici interni.

Il secondo limite riguarda la precisione fattuale. I modelli generativi operano individuando correlazioni statistiche tra sequenze di testo: quando non dispongono di dati specifici o intercettano schemi privi di riscontro oggettivo, possono generare affermazioni prive di fondamento spacciandole per corrette. Il fenomeno è noto come allucinazione o confabulazione. In ambito aziendale, un dato errato all’interno di una procedura di sicurezza o in un’analisi contrattuale compromette l’affidabilità dell’intero sistema.

Per superare queste carenze, diverse direzioni tecniche considerano l’addestramento da zero di un modello proprietario o la messa a punto (fine-tuning) di un foundation model sui testi aziendali. Come chiarisce IBM, riaddestrare o specializzare una rete neurale su un corpus ristretto richiede cluster di calcolo dedicati, investimenti elevati e personale specializzato. Inoltre, il fine-tuning modifica i pesi interni del modello per adattarne lo stile linguistico o il compito specialistico, ma non ne risolve la staticità temporale: ogni nuovo documento imporrebbe un ulteriore ciclo di calcolo.

La soluzione ingegneristica per integrare documenti dinamici senza toccare i parametri del modello è l’architettura RAG (Retrieval-Augmented Generation).

Come funziona la RAG: recupero, contestualizzazione e generazione

La Retrieval-Augmented Generation è un’architettura software che unisce i tradizionali sistemi di recupero delle informazioni (motori di ricerca e database) con le capacità di elaborazione del linguaggio naturale dei modelli linguistici. Invece di chiedere all’algoritmo di memorizzare la conoscenza aziendale nei suoi parametri, la RAG estrae i documenti pertinenti in tempo reale e li fornisce come contesto verificabile.

Come descritto sia da Google Cloud sia da IBM, il flusso di lavoro si articola in cinque fasi operative:

• Invio della query: l’operatore o il cliente inserisce una richiesta in linguaggio naturale.
• Recupero delle informazioni (retrieval): il sistema interroga la knowledge base e individua i frammenti documentali rilevanti per la domanda.
• Trasferimento al livello di integrazione: i dati estratti vengono ripuliti e inviati all’orchestratore del sistema.
• Composizione del prompt potenziato (augmented prompt): il livello di integrazione unisce la richiesta iniziale con i passaggi documentali recuperati.
• Generazione con grounding (grounded generation): il modello linguistico preaddestrato elabora la risposta attenendosi rigorosamente al contesto ricevuto e citando le fonti consultate.

I quattro elementi costitutivi dell’architettura RAG

La documentazione tecnica di IBM scompone un’architettura RAG in quattro blocchi funzionali:

• La base di conoscenza (knowledge base): è l’archivio esterno che raccoglie i documenti aziendali, costituiti in larga parte da dati non strutturati (file PDF, manuali tecnici, report di produzione, tabelle). I testi vengono suddivisi in segmenti omogenei mediante una procedura di segmentazione (chunking). La dimensione del blocco costituisce un iperparametro fondamentale: porzioni troppo ampie rischiano di superare la finestra di contesto dell’LLM o disperdere la rilevanza semantica; porzioni eccessivamente frammentate spezzano la continuità logica del testo. I blocchi vengono poi trasformati tramite modelli di embedding in vettori numerici all’interno di uno spazio multidimensionale.
• Il motore di recupero (retriever): confronta il vettore della query dell’utente con i vettori memorizzati nel database per individuare le porzioni documentali più vicine per similarità semantica. Come specifica Google Cloud, le configurazioni ad alte prestazioni affiancano alla ricerca vettoriale la tradizionale ricerca per parole chiave (configurando la cosiddetta ricerca ibrida) e applicano un algoritmo di ricalcolo del punteggio (re-ranker), così da ordinare i frammenti per pertinenza prima di inoltrarli al generatore.
• Il livello di integrazione: coordina il transito dei dati, gestisce l’automazione dei prompt e ripulisce le interrogazioni prima della ricerca semantica. Questa logica viene governata da framework di orchestrazione come LangChain, LlamaIndex o IBM watsonx Orchestrate.
• Il generatore: è il modello linguistico preaddestrato (per esempio GPT, Claude, Llama o Gemini) che formula il testo finale. Ricevendo l’istruzione di basarsi unicamente sul contesto recuperato, il modello evita divagazioni e sintetizza le informazioni richieste.

RAG e fine-tuning a confronto

La distinzione tra messa a punto e recupero documentale incide direttamente sui bilanci di progetto. La documentazione di IBM mette in luce come i due metodi rispondano a scopi operativi complementari:

Google Cloud aggiunge una valutazione economica sul consumo computazionale: sebbene modelli moderni come Gemini offrano finestre di contesto molto estese (long context window), inserire moli massive di documenti all’interno di ogni singola chiamata genera costi elevati di token e aumenta la latenza. La RAG seleziona solo i passaggi pertinenti, ottimizzando tempi di risposta e consumi di calcolo.

Requisiti di sicurezza e misurazione della qualità con il RAG Ops

L’adozione industriale della RAG richiede attenzione su due fronti: la protezione dei dati proprietari e la misurazione continuativa della qualità.

Sul piano della sicurezza, IBM osserva che la RAG tutela la riservatezza delle informazioni separando la knowledge base dall’algoritmo generativo: i dati aziendali non confluiscono nei set di addestramento e l’accesso può essere revocato in qualsiasi momento. Tuttavia, l’infrastruttura pone un vincolo di protezione: i database vettoriali devono essere cifrati e protetti con policy di autenticazione rigorose. Se un database non protetto subisce una violazione, soggetti non autorizzati possono invertire il processo di embedding vettoriale e ricostruire i testi riservati di partenza.

Sul piano del monitoraggio, Google Cloud evidenzia la necessità di un approccio metodico denominato RAG Ops, basato sulla misurazione di indicatori quantitativi:

• Fondatezza fattuale (groundedness): verifica che ogni asserzione dell’output sia ricavata dai documenti recuperati, escludendo deduzioni non dimostrabili.
• Pertinenza del contesto (context relevance): valuta l’accuratezza del retriever nell’isolare solo i blocchi documentali attinenti alla richiesta.
• Aderenza alle istruzioni (instruction following) e sicurezza: misura il rispetto dei vincoli operativi e la gestione corretta dei parametri di sistema.

La disponibilità di queste metriche consente di regolare la dimensione dei blocchi documentali, tarare la ricerca semantica e verificare la tenuta economica dell’investimento. Questo rigore riflette l’avvertenza di Tina Nunno nel report Gartner: i dirigenti che tracciano ogni capitolo di spesa per tipologia di risultato (produttività, crescita del fatturato, riduzione del rischio o innovazione) possono difendere gli stanziamenti e correggere la rotta tempestivamente quando un’iniziativa mostra ritorni inferiori alle attese.

Implementazione aziendale: dai progetti pilota ai motori di conoscenza

I risultati dell’indagine Gartner indicano con chiarezza che i guadagni superficiali di produttività non bastano a giustificare i costi dell’intelligenza artificiale. L’81% di ritorni positivi registrato dalle organizzazioni ad alte prestazioni dimostra che il valore emerge quando l’AI affronta le inefficienze documentali dei processi operativi.

La RAG permette di strutturare motori di conoscenza interna in cui tecnici, operatori commerciali e responsabili di produzione interrogano manuali di impianto, capitolati d’appalto e normative aziendali con domande dirette, ricevendo risposte contestualizzate e verificabili alla fonte. La tracciabilità del dato elimina la diffidenza degli operatori e riduce i tempi morti di ricerca nell’archivio.

L’architettura per compiere questo passaggio poggia su componenti consolidate: database vettoriali protetti, ricerca ibrida e modelli linguistici vincolati al contesto documentale. Abbiamo costruito AVA come assistente aziendale che va a recuperare le risposte direttamente nella tua documentazione, in locale o in cloud, e restituisce solo informazioni verificate, con la pagina esatta da cui provengono. Per portare la tua azienda dentro quel 22% che ottiene ritorni reali dall’AI: parla con noi e testa AVA sui tuoi processi.

Fonti

• Gartner, Inc., “Gartner Survey Finds Only 22% of Organizations Have Successfully Scaled AI Across Multiple Business Units” (1 settembre 2026), comunicato a cura di Tina Nunno, Gartner Press Release - AI Scaling Survey

• Google Cloud, “What is Retrieval-Augmented Generation (RAG)?”, Google Cloud - Retrieval-Augmented Generation Overview

• IBM Think, “Cos’è la retrieval augmented generation (RAG)?”, a cura di Ivan Belcic, IBM Think - Retrieval Augmented Generation Guide