第四部分数据工程
本节介绍了在 AI Data Platform Workbench 中开发数据的方法。
数据工程师专注于构建和维护数据分析师用于访问和操纵数据的系统。他们使用 Apache Spark 等大数据技术以及 Python 和 SQL 等编程语言来处理和管理对象存储、数据库和数据仓库中的数据。他们负责数据分析和数据科学工作流的初始阶段，例如收集、存储和转换数据。他们的工作确保数据是可访问的，并且质量高，以便其他数据科学家和分析师可以使用它进行工作。数据工程师还将 CI/CD 原则用于数据管道和代码，以管理版本控制，并促进与数据科学家、分析师和其他利益相关者的协作。