第IV部 データ・エンジニアリング
この項では、AIデータ・プラットフォーム・ワークベンチでのデータの開発方法について説明します。
データ・エンジニアは、データ・アナリストがデータへのアクセスと操作に使用するシステムの構築と維持に重点を置いています。Apache Sparkなどのビッグ・データ・テクノロジと、PythonやSQLなどのプログラミング言語を使用して、オブジェクト・ストレージ、データベースおよびデータ・ウェアハウスにあるデータを処理および管理します。データ分析およびデータ・サイエンス・ワークフローの初期段階(データの収集、格納、変換など)を担当します。これらの作業により、データにアクセスでき、高品質であることが保証されるため、他のデータ・サイエンティストやアナリストはデータを作業に使用できるようになります。また、データ・エンジニアは、データ・パイプラインとコードにCI/CD原則を使用してバージョン管理を管理し、データ・サイエンティスト、アナリスト、その他の利害関係者とのコラボレーションを促進します。