Partie IV Ingénierie des données
Cette section décrit les méthodes de développement de vos données dans AI Data Platform Workbench.
Les ingénieurs de données se concentrent sur la création et la maintenance des systèmes que les analystes de données utilisent pour accéder aux données et les manipuler. Ils utilisent des technologies Big Data telles qu'Apache Spark et des langages de programmation tels que Python et SQL pour traiter et gérer les données situées dans le stockage d'objets, les bases de données et les data warehouses. Ils sont responsables des étapes initiales du workflow d'analyse et de science des données, telles que la collecte, le stockage et la transformation des données. Leur travail garantit que les données sont accessibles et de haute qualité afin que d'autres data scientists et analystes puissent les utiliser pour leur travail. Les ingénieurs de données utilisent également les principes d'intégration continue et de déploiement continu pour les pipelines de données et le code afin de gérer le contrôle des versions et de promouvoir la collaboration avec les data scientists, les analystes et d'autres parties prenantes.