Parte IV Ingegneria dei dati
Nella sezione vengono descritti i metodi per lo sviluppo dei dati in AI Data Platform Workbench.
I data engineer si concentrano sulla creazione e sulla manutenzione dei sistemi utilizzati dagli analisti di dati per accedere e manipolare i dati. Utilizza tecnologie di Big Data come Apache Spark e linguaggi di programmazione, tra cui Python e SQL, per elaborare e gestire i dati che si trovano nello storage degli oggetti, nei database e nei data warehouse. Sono responsabili delle fasi iniziali del flusso di lavoro di analisi e data science, come la raccolta, la memorizzazione e la trasformazione dei dati. Il loro lavoro garantisce che i dati siano accessibili ed è di alta qualità in modo che altri data scientist e analisti possano utilizzarli per il loro lavoro. I data engineer utilizzano anche i principi CI/CD per le pipeline e il codice di dati per gestire il controllo delle versioni e promuovere la collaborazione con data scientist, analisti e altre parti coinvolte.