Perchè testare e analizzare?

Il motivo principale è che il software non è mai corretto, a prescindere alle tecniche di sviluppo utilizzate, quindi tutti i software vanno verificati. Tuttavia, le operazioni di testing e analisi pur essendo molto importanti per il controllo di qualità del prodotto, sono molto costose.

Costi

L'US National Institute of Standards and Technology ha dichiarato che i software bugs costano all'economia americana circa $59.5 miliardi ogni anno, e più di un terzo di questo costo (circa $22.2 miliardi) può essere evitato semplicemente migliorando il testing.

Definizioni standard

• Errore (mistake): azione umana che produce un risultato scorretto (errori logici nel codice, fraintendimenti architetturali, oversight, comunicazione inefficiente). E' concettuale.
• Difetto (defect, fault): un passaggio sbagliato, un processo, o una definizione di un dato in un componente o sistema che non fa performare come previsto il componente. Un fault, se incontrato durante l'esecuzione, può causare il fallimento del componente o dell'intero sistema. Si può verificare anche dopo molto tempo dall'errore. E' materiale.
• Malfunzionamento (failure): deviazione del componente o sistema dai requisiti/specifiche funzionali e non (ES: system crash, risultati sbagliati, falle di sicurezza ...). E' conseguenza pratica di uno o più difetti.

Un errore può causare più di un difetto, e un difetto può essere causato da più errori.

Un difetto può causare più di un malfunzionamento, e un malfunzionamento può essere causato da più difetti.

Categorizziamo i faults

Non c'è una "giusta" categorizzazione, questa può dipendere dallo stile di design, dal linguaggio di implementazion, dai processi e dai documenti, etc..

In ogni caso è importante revisionare le categorie.

Categorizzazione di Pareto

Una categorizzazione valida è quella di Pareto (regola dell'80/20) che considera la severità e i costi. In ogni caso la categorizzazione non deve essere perfetta e neanche particolarmente complessa, ma è importante averla. Questa categorizzazione consiste nell':

• Identificare una o due categorie "dominanti", e considerare severità, costi e frequenza. Così che l'analisi di futuri problemi è limitata a queste categorie.
• Le categorie possono essere ribilanciate nel tempo
• Condizioni legate alla concorrenza

Classificazione dei malfunzionamenti