La locuzione big data indica genericamente una raccolta di dati così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici specifici per l'estrazione di valore o conoscenza. Per metonimia, il medesimo termine è utilizzato per riferirsi alla branca della data science che si occupa di analizzare queste tipologie eterogenee di dati allo scopo di scoprire i legami tra fenomeni diversi (ad esempio correlazioni) e prevedere quelli futuri.
La disciplina può essere vista come un'evoluzione dei tradizionali metodi di business intelligence (data analysis, data warehouse, etc.), allargata però al trattamento di masse di dati estremamente grandi e variegate.
In Italia la pubblica amministrazione ha previsto la creazione di un modello di big data governance, denominato Data & Analytics Framework (DAF), all’interno dal piano triennale AgID del 2017-2019. La recente riforma del Codice Amministrazione Digitale (CAD) recepisce il DAF all’art. 50-ter, introducendo la Piattaforma Digitale Nazionale Dati (PDND) che lo integra al suo interno.
Il DAF si basa su una piattaforma big data, composta da un data lake, un insieme di data engine e relativi strumenti per la comunicazione dei dati. Nel data lake vengono memorizzati, nel rispetto delle normative in materia di protezione dei dati personali, dati di potenziale interesse quali, ad esempio:
- le basi di dati che le PA generano per svolgere il proprio mandato istituzionale;
- i dati generati dai sistemi informatici delle Pubbliche amministrazioni come log e dati di utilizzo che non rientrano nella definizione precedente;
- i dati autorizzati provenienti dal web e dai social network di potenziale interesse della Pubblica amministrazione.
La realizzazione e la successiva gestione del DAF è affidata al BDT-PA, ovvero Big Data Team della PA, un team composto da data scientist, big data architect ed esperti di dominio che provvedono al disegno e all’evoluzione concettuale della Piattaforma big data, alla costruzione di modelli di interconnessione delle diverse sorgenti dati, all’analisi dei dati, allo sviluppo di modelli di machine learning, al coordinamento dello sviluppo di data application e all’organizzazione di “competizioni” scientifiche su tematiche di interesse per la PA.
