Assistenti IA affidabili: il caso di EVAL-IA

Quando InfoCamere ha lanciato i primi assistenti virtuali basati su intelligenza artificiale generativa per le Camere di Commercio italiane, i risultati iniziali sono stati deludenti: solo il 50% delle risposte era accurato. Un anno dopo, grazie al progetto EVAL-IA, quello stesso sistema ha raggiunto il 100% di accuratezza attraverso oltre 60.000 test automatizzati. Ma il dato più rilevante non riguarda i numeri: l’80% degli errori non dipendeva dai modelli IA, bensì dalla qualità dei dati sottostanti.

Questa scoperta controintuitiva offre alle aziende italiane una lezione fondamentale nell’era dell’intelligenza artificiale generativa, in cui il mercato nazionale vale 1,8 miliardi di euro e cresce del 50% annuo: il successo degli assistenti virtuali non si compra con la tecnologia più avanzata, si costruisce con dati ben governati.

Quando i dati contano più degli algoritmi

InfoCamere, società consortile delle 88 Camere di Commercio italiane, ha affrontato una sfida concreta: valutare le prestazioni degli assistenti virtuali garantendo misurabilità, governance e affidabilità nel tempo. Come evidenziato nell’analisi pubblicata da Agenda Digitale, la questione centrale non riguarda l’algoritmo, ma la struttura delle informazioni.

Consideriamo un imprenditore che accede al portale della Camera di Commercio cercando finanziamenti disponibili. Quando interroga l’assistente virtuale chiedendo quale bando sia più adatto alla sua impresa, la qualità della risposta dipende interamente dall’organizzazione delle informazioni sottostanti. Se i dati sui bandi sono distribuiti in modo frammentario, non aggiornati o descritti con terminologie incoerenti, l’IA non può fare miracoli. Non si tratta di limitazioni tecnologiche del modello linguistico, ma del fatto che viene forzato a lavorare con materiale ambiguo. La soluzione sta nel preparare contenuti “AI-readable”: informazioni strutturate con chiarezza e coerenza che l’intelligenza artificiale possa interpretare senza margini di incertezza.

Molti attribuiscono gli errori degli assistenti virtuali ai modelli generativi stessi. Un anno fa, con tecnologie meno evolute, questa diagnosi era corretta. Oggi, l’analisi condotta da InfoCamere rivela una realtà differente: fino all’80% delle imprecisioni deriva da informazioni di partenza mal strutturate o incomplete, conseguenze dirette della fragilità dei dati di base. La metodologia EVAL-IA ha costruito tre pilastri: data readiness, quality engineering con agent validator, e governance continua. Il sistema ha analizzato i portali istituzionali mappando vuoti informativi, restituito metriche su completezza e coerenza, poi riscritto e riorganizzato i contenuti. Il risultato è stato un incremento del 130% nella produttività del monitoraggio.

Questo approccio sfida la prassi dominante. La maggior parte delle aziende parte selezionando il Large Language Model più avanzato, per poi scoprire che risposte accurate richiedono ben altro. Studi sul Retrieval-Augmented Generation (Generazione Ampliata dal Recupero) mostrano che la precisione può diminuire fino al 30% in dataset rumorosi. InfoCamere ha dimostrato che la soluzione passa dalla qualità dei dati a monte, non dall’ottimizzazione algoritmica a valle.

L’agent validator: usare l’IA per controllare l’IA

InfoCamere ha sviluppato un agent validator automatizzato, un sistema IA secondario che verifica le risposte dell’assistente principale confrontandole con target attesi. Non è un approccio isolato: il World Quality Report 2024 evidenzia che il 68% delle organizzazioni usa IA generativa per ottimizzare testing e automazione.

I 60.000 test del 2025 sarebbero stati impensabili con controlli manuali. Questa automazione ha trasformato la qualità da attività reattiva a processo proattivo: prevenire errori prima che raggiungano l’utente. Una compagnia assicurativa può replicare questo modello generando automaticamente migliaia di domande, confrontando risposte con policy ufficiali, identificando discrepanze prima del deployment.

Il framework bilancia automazione e supervisione umana: l’agent validator esegue test, ma i contenuti finali passano per redattori. Questo equilibrio tra efficienza automatizzata e responsabilità umana diventerà standard per sistemi IA affidabili.

Governance come asset strategico

EVAL-IA trasforma la qualità della risposta AI da “effetto casuale” a “risultato governabile”. L’approccio di InfoCamere va oltre la semplice verifica delle risposte: costruisce una base informativa scalabile e riutilizzabile da molteplici modelli e servizi. La metodologia, già applicata alle 88 Camere di Commercio italiane, si presta a implementazioni presso Regioni, Comuni e contesti aziendali.

Per le grandi imprese con filiali distribuite sul territorio, questo modello offre un’economia di scala significativa: l’investimento iniziale nel framework di governance può essere replicato nelle diverse sedi, personalizzando i contenuti ma mantenendo invariati gli standard di qualità. Per le PMI italiane, che rappresentano il 18% del mercato IA nazionale, la scalabilità assume un significato diverso: un assistente virtuale implementato inizialmente per il customer service può essere esteso a HR, sales o operations senza dover ricominciare da zero. La metodologia è favorita dall’utilizzo di tecniche di scraping e analisi asincrona che permettono di processare fonti informative in parallelo.

Eppure, i dati mostrano un gap significativo: solo il 15% delle medie imprese e il 7% delle piccole hanno attivato progetti IA. Questo divario rappresenta un’opportunità concreta per le aziende che adotteranno approcci metodologici strutturati come EVAL-IA, trasformando la governance dell’intelligenza artificiale in un elemento di differenziazione competitiva nel servizio clienti.

Conformità normativa: da obbligo a differenziatore

L’AI Act classifica gli assistenti virtuali come sistemi a “rischio limitato” – categoria che rappresenta il 70% dei sistemi IA utilizzati dalle aziende digitali italiane. L’obbligo normativo è esplicito: dichiarare immediatamente la natura artificiale del sistema. InfoCamere ha trasformato questo vincolo normativo in opportunità strategica. Un assistente virtuale che dichiara apertamente la propria natura IA e successivamente fornisce risposte accurate al 100% costruisce maggiore fiducia rispetto a un sistema dalle caratteristiche ambigue. L’Italia, diventata il primo Stato membro UE a dotarsi di una legge nazionale sull’intelligenza artificiale (L. 132/2025, in vigore dal 10 ottobre 2025 ), ha contestualmente istituito un fondo da 1 miliardo di euro per lo sviluppo del settore.

Le aziende sono chiamate ad aggiornare i Modelli Organizzativi 231, definire policy di governance interna e implementare toolkit di procurement IA. Chi integrerà trasparenza e accountability nel design dei propri sistemi costruirà un vantaggio competitivo duraturo. Nei mercati B2B, dove i processi di procurement valutano sistematicamente rischio e conformità normativa, un assistente virtuale certificato conforme con accuratezza verificabile si trasforma in differenziatore commerciale tangibile.

Gli errori che costano cari

Come già sottolineato, l’errore delle aziende risiede nell’approccio technology-first: selezionare il Large Language Model più avanzato senza valutare dati. La soluzione non sta nella potenza del modello, ma nella qualità delle fonti informative.

Altrettanto critico è sottovalutare il lavoro continuo di governance. EVAL-IA ha richiesto analisi sistematica dei portali, riscrittura dei contenuti, definizione di metriche precise e monitoring costante. Non si tratta di attività una tantum, ma di un impegno continuo. Senza risorse dedicate, l’accuratezza dell’assistente virtuale si degrada progressivamente: i dati invecchiano, le policy cambiano, nuove informazioni non vengono integrate. Il risultato è un sistema che perde affidabilità nel tempo.

Deployare senza validazione automatizzata è un altro rischio frequente. Senza un agent validator che testi continuamente le risposte, gli errori vengono scoperti dagli utenti finali, con danni immediati alla reputazione aziendale e alla fiducia nel sistema. La gestione a silos aggrava questi problemi: progetti condotti separatamente tra IT, business unit, legal e compliance falliscono per mancanza di allineamento tra chi possiede i dati, chi definisce i requisiti funzionali e chi garantisce conformità normativa. Con l’AI Act che prevede sanzioni fino al 3% del fatturato, integrare compliance by design dall’inizio del progetto non è più opzionale. È una scelta strategica che determina il successo o il fallimento dell’intera iniziativa.

Principi strategici per l’adozione

Il progetto EVAL-IA cristallizza sei principi strategici immediatamente applicabili.

Il primo riguarda la priorità degli investimenti: privilegiare la qualità dei dati rispetto alla potenza computazionale, poiché nemmeno il modello più avanzato può compensare informazioni mal preparate.
Il secondo principio consiste nel costruire sistemi di validazione automatizzata che permettano volumi di test irrealizzabili manualmente, mantenendo al contempo supervisione umana sulle decisioni critiche.
Il terzo principio trasforma il controllo qualità da costo operativo a elemento di differenziazione: l’accuratezza verificabile costruisce fiducia commerciale tangibile.
Il quarto suggerisce di utilizzare i requisiti dell’AI Act per costruire trust con clienti e partner, non limitandosi a evitare sanzioni: la trasparenza combinata con risposte accurate diventa un asset strategico.
Il quinto principio indica di investire in framework replicabili che permettano di scalare dall’implementazione pilota all’intera organizzazione senza ricominciare.
Il sesto, infine, propone di usare l’IA stessa per verificare IA, liberando risorse umane per attività di governance strategica a maggior valore aggiunto.

Dal caso studio all’azione

Il progetto EVAL-IA di InfoCamere dimostra che il passaggio dal 50% al 100% di accuratezza non è un traguardo riservato a organizzazioni con budget illimitati, ma il risultato di scelte metodologiche precise. Con il mercato italiano dell’intelligenza artificiale che vale 1,8 miliardi di euro e cresce del 50% annuo, e circa 44.000 posizioni lavorative che richiedono competenze IA (+93% rispetto all’anno precedente ), le opportunità sono significative quanto le responsabilità.

L’AI Act è applicabile dal 2 febbraio 2025, la normativa italiana è in vigore dal 10 ottobre 2025, e le sanzioni possono raggiungere il 3% del fatturato. In questo contesto, le aziende italiane hanno una scelta: implementare assistenti virtuali che funzionano solo metà delle volte, oppure adottare i principi del framework EVAL-IA, privilegiando la qualità dei dati sulla potenza computazionale, la governance continua sui controlli sporadici, la trasparenza sull’opacità. Il mercato premierà chi costruisce ecosistemi dove l’intelligenza artificiale può esprimere il proprio potenziale attraverso dati strutturati, validazione automatizzata e supervisione umana. Questo è il modello che InfoCamere ha dimostrato essere possibile.

Fonti: