Data quality

Il tema del data quality è particolarmente importante perché, dopo aver approfondito come gestire i dati e le loro architetture è bene studiare anche i dati in se.

Un esempio di scarsa data quality è quella di avere lo stesso dato con valori diversi nello stesso posto, anche semplicemente una pagina web.

I dati sono una rappresentazione della realtà e questo porta al fatto che la realtà viene da noi modellata tramite alcuni dati specifici, tramite un pezzo della realtà e tale rappresentazione potrebbe non essere a priori oggettiva, anche a causa di strutture linguistiche e/o basate sui sensi. Si definiscono quindi:

• utilità come precisione della rappresentazione interna del dato rispetto al compito svolto (e quindi, ad esempio, un’immagine ritoccata potrebbe essere più utile per determinati scopi)
• fedeltà: come l’aderenza del dato alla realtà

Si è capito che la qualità è un concetto complicato.

Definizione: diamo una serie di definizioni:

• qualità: caratteristiche di un artefatto che influiscono sulla sua capacità di soddisfare le esigenze e le aspettative dell’utente, dichiarate o implicite. Un dato è di qualità se è adatto all’uso che se ne deve fare. Si ha il concetto di fitness for use. “La qualità dei dati è negli occhi di chi li usa e non nelle mani di chi li produce”
• dimensione: una caratteristica specifica che descrive la qualità delle informazioni, solitamente non misurabile ma potrebbero esserlo
• sottodimensioni: sotto-caratteristiche che spesso classificano una certa dimensione

Le dimensioni misurabili lo sono tramite metriche, che secondo le definizioni dello standard ISO 9126-1 secondo il framework ISM3 sono un’insieme di procedure che comprende:

• una procedura (o metodo) di misurazione, cioè un algoritmo che prende l’elemento da misurare e lo associa a una misura (sia esso un valore ordinale o un intervallo)
• una corretta unità di misura (o scala), cioè il dominio dei valori restituiti dalla procedura di misurazione

Si possono avere metriche diverse per la stessa dimensione.

La qualità dei dati è un concetto che può essere espresso attraverso molteplici dimensioni, ad esempio la accuratezza (magari anche solo per errori di typo nei dati), la comprensibilità, la completezza (avendo magari valori a NULL), l’inconsistenza (avendo contraddizioni nei dati) etc…

Noi considereremo le seguenti: