Parte IV Engenharia de Dados
A seção explica os métodos para desenvolver seus dados no AI Data Platform Workbench.
Os engenheiros de dados se concentram na construção e manutenção dos sistemas que os analistas de dados usam para acessar e manipular dados. Eles usam tecnologias de big data como o Apache Spark e linguagens de programação, incluindo Python e SQL, para processar e gerenciar dados localizados em armazenamento de objetos, bancos de dados e data warehouses. Eles são responsáveis pelos estágios iniciais do fluxo de trabalho de análise de dados e ciência de dados, como coletar, armazenar e transformar dados. Seu trabalho garante que os dados sejam acessíveis e de alta qualidade para que outros cientistas e analistas de dados possam usá-los para seu trabalho. Os engenheiros de dados também usam princípios de CI/CD para pipelines de dados e código para gerenciar o controle de versões e promover a colaboração com cientistas de dados, analistas e outras partes interessadas.