第四部分資料工程
本節說明在 AI Data Platform Workbench 中開發資料的方法。
資料工程師專注於建置和維護資料分析師用來存取和操控資料的系統。他們使用 Apache Spark 和程式設計語言 (包括 Python 和 SQL) 等大數據技術來處理和管理位於物件儲存、資料庫和資料倉儲中的資料。他們負責資料分析和資料科學工作流程的初始階段，例如收集、儲存及轉換資料。他們的工作可確保資料可供存取並具有高品質，讓其他資料科學家和分析師能夠將其用於工作。資料工程師也使用資料管線和程式碼的 CI/CD 原則來管理版本控制，並促進與資料科學家、分析師和其他利害關係人的協同合作。