Parte IV Ingeniería de datos
En esta sección se explican los métodos para desarrollar los datos en AI Data Platform Workbench.
Los ingenieros de datos se centran en crear y mantener los sistemas que utilizan los analistas de datos para acceder a los datos y manipularlos. Utilizan tecnologías de big data como Apache Spark y lenguajes de programación, incluidos Python y SQL, para procesar y gestionar datos ubicados en el almacenamiento de objetos, bases de datos y almacenes de datos. Son responsables de las etapas iniciales del flujo de trabajo de análisis y ciencia de datos, como la recopilación, el almacenamiento y la transformación de datos. Su trabajo garantiza que los datos sean accesibles y de alta calidad para que otros científicos y analistas de datos puedan usarlos para su trabajo. Los ingenieros de datos también utilizan principios de integración y despliegue continuos para pipelines y código de datos para gestionar el control de versiones y promover la colaboración con científicos de datos, analistas y otras partes interesadas.