Partie IV Ingénierie des données
La section explique les méthodes de développement de vos données dans AI Data Platform Workbench.
Les ingénieurs de données se concentrent sur la création et la maintenance des systèmes que les analystes de données utilisent pour accéder aux données et les manipuler. Ils utilisent des technologies de mégadonnées comme Apache Spark et des langages de programmation, y compris Python et SQL, pour traiter et gérer les données situées dans le stockage d'objets, les bases de données et les entrepôts de données. Ils sont responsables des étapes initiales du flux de travail d'analyse et de science des données, telles que la collecte, le stockage et la transformation des données. Leur travail garantit que les données sont accessibles et de haute qualité afin que d'autres spécialistes et analystes des données puissent les utiliser pour leur travail. Les ingénieurs de données utilisent également les principes d'intégration et de développement en continu pour les pipelines de données et le code afin de gérer le contrôle des versions et de promouvoir la collaboration avec les spécialistes des données, les analystes et les autres parties prenantes.