I modelli di Machine Learning imparano a svolgere le proprie funzioni basandosi su regole e comportamenti che deducono dai dati: vengono cioè “addestrati” sui dataset che gli vengono forniti.
Per questo si dice che l’Intelligenza Artificiale si fonda sui dati e perciò lo sviluppo di questo tipo di algoritmi richiede dataset di qualità: ampli, variegati e strutturati correttamente. L’addestramento su dataset parziali o insufficienti può compromettere significativamente l'accuratezza e l'affidabilità di un modello di Machine Learning; mentre un dataset molto vario e puntuale, assicura che i bias vengano minimizzati e l’accuratezza dei risultati sia elevata.

La composizione del dataset è particolarmente rilevante per lo sviluppo di modelli di analisi come quelli di forecasting e pattern recognition: per questo in alcuni contesti, laddove andiamo a costruire sistemi di previsione e analisi particolarmente sofisticati, in Aidia affianchiamo allo sviluppo dei modelli un lavoro di raccolta, elaborazione e affinamento dei dati a disposizione.

Un’azienda di consulenza nostra partner, ad esempio, ci aveva chiesto di sviluppare una soluzione di supporto all’analisi finanziaria, una piattaforma di intelligence che fornisse previsioni sui trend dei titoli e che potesse segnalare eventuali anomalie o difformità in via di emersione.
Fondato su algoritmi di Classificazione, Forecasting e Pattern Recognition, il sistema di suggerimento necessitava di molti dati: serie storiche accurate e consolidate, ricche in variabilità - e con sufficienti eventi anomali al suo interno perché gli algoritmi potessero ricavarne dei pattern.

Il dataset a disposizione, però, risultava limitato, sia in termini di anomalie che di varietà: queste limitazioni rendevano difficile pensare di raggiungere le prestazioni desiderate.
La sfida del progetto riguardava, quindi, non solo lo sviluppo della piattaforma in sè, ma anche l’ampliamento e l’arricchimento del dataset esistente - per garantire che i modelli sviluppati potessero “girare” in modo ottimale e rispondere alle esigenze specifiche del cliente.

Prima di tutto, per ovviare alla carenza di dati e garantire il buon funzionamento del modello di analisi, abbiamo messo a punto un sistema di Data Augmentation che colmasse alcune delle lacune presenti e completasse i dati già a disposizione del cliente.

La soluzione prevedeva una rielaborazione del dataset a disposizione e la generazione e l’inserimento di “rumore gaussiano” all’interno dei dataset. Il rumore ci ha permesso di introdurre maggiore casualità nei dati utilizzati e ha dato modo agli algoritmi di imparare a riconoscere “normalità” e pattern delle variabili con più precisione. I pattern, infatti, possono indicare un cambiamento di tendenze o un’anomalia e avere più dati “errati” nei dati di addestramento permette di rendere più preciso e generalizzabile il rilevamento.

Dopo la regolarizzazione del dataset ci siamo quindi occupati dello sviluppo del sistema di analisi stesso. In questa fase abbiamo implementato degli algoritmi basati sulle reti neurali profonde (DNN) e dei modelli statistici fondati sul calcolo delle principali proprietà statistiche, come la varianza o la correlazione.
Dopo vari testing sulle capacità predittive dei singoli algoritmi, li abbiamo integrati in un unico sistema di analisi, per garantire una maggiore profondità di interpretazione e delle analisi a 360°.

Parallelamente al lavoro sulla creazione e la messa a punto dei modelli di analisi, ci siamo occupati della creazione della piattaforma per il nostro cliente.
Sviluppata a microservizi, la piattaforma ha come fulcro una dashboard interattiva, attraverso cui è possibile studiare i movimenti delle variabili ed effettuare varie analisi pre-impostate, relativamente all’andamento dei trend e al riconoscimento di rapporti tra le variabili.
In altre sezioni del software, invece, è possibile seguire predizioni più puntuali o andare a modificare alcuni dei parametri considerati - questo consente agli utenti del nostro cliente di personalizzare le proprie analisi e di mantenere sempre ottimizzati i risultati.

Nel complesso, grazie al grosso lavoro iniziale sul dataset e allo sviluppo personalizzato dei modelli, siamo riusciti a risolvere le preoccupazioni legate alle limitazioni dei dati e a realizzare una piattaforma analitica avanzata.
Grazie alla maggiore flessibilità e accuratezza delle analisi, inoltre, i consulenti dell’azienda cliente hanno visto crescere le loro performance.