I data scientist usano la maggior parte del loro tempo per pulire e formattare i dati. Il rimanente tempo è speso nella disperata ricerca di dati utili per le loro analisi.

L’arte di acquisire e preparare i dati per le analisi si chiama data mungin o data wrangling.

I linguaggi più usati sono:

• Python: linguaggio interpretato usato principalmente per il data mungin. Molte librerie di supporto per ogni fase dell’analisi dati
• R: ambiente e linguaggio per gli statistici
• Matlab: veloce ed efficiente linguaggio per la manipolazione di matrici
• Java/C/C++: linguaggi per grandi sistemi Big Data professionali distribuiti (in produzione)
• Mathematica / Wolfram Alpha: supporto computazionale per la matematica numerica, simbolica e l’analisi di funzioni
• Excel: per un primo approccio all’analisi dati

Gli ambienti di notebook, invece, forniscono la possibilità di combinare codice compilabile, dati, risultati, testo, immagini, grafici in un unico ambiente. In questo modo, il progetto sarà sempre:

1. Facilmente riproducibile
2. Modificabile
3. Condiviso
4. Documentato a dovere

Data pipeline

I notebook semlpificano la gestione delle pipeline di dati, la sequenza delle fasi di elaborazione dall’inizio alla fine.

In un progetto, le analisi sono spesso da rifare da zero: un buon notebook semplifica questo processo.

La pipeline:

1. Produzione o identificazione e collezione di dati
2. Manipolazione e processamento dei dati