12 工作流程
Oracle AI Data Platform Workbench 中的工作流程提供強大且彈性的方式,將資料處理任務自動化。透過工作流程,使用者可以定義和協調可依需求執行的複雜資料管線,並根據預先定義的排程執行。工作流程可由多個工作組成,每個工作都會執行特定動作,而且可以包括相依性、觸發程式和錯誤處理等進階功能。
AI 資料平台工作流程的主要功能
- 自動化:自動化複雜的資料任務和流程。
- 協調:定義業務進程中任務的順序與相依性。
- 排程:根據特定事件,在排程或觸發程式上執行工作流程。
- 監督:追蹤工作流程狀態、日誌以及執行歷史記錄。
- 參數化:傳送參數以自訂工作流程和工作的行為。
核心概念
- 工作:依序或平行執行以完成資料處理工作的任務集合。
- 任務:構成工作流程的個別步驟。這些工作可能包括執行 Python 程式碼、執行記事本、if-else 作業或執行其他工作作業等動作。
- 工作執行:工作執行的執行處理。工作可以多次觸發,每一次代表新工作執行。
- 觸發程式:定義執行工作流程的條件,例如排程或手動觸發工作流程。
- 相依性:定義工作的執行順序,或指定特定工作的執行條件。
- 參數:傳遞給工作流程或任務以自訂其執行的值。您可以在工作、作業或程式實際執行層次定義參數。
使用工作流程的優點 / 使用案例
- 簡化自動化 - 透過工作流程自動執行週期性資料任務,簡化執行工作。
- 平行處理 - 平行執行工作以加速資料處理。
- 可自訂執行 - 在執行時期使用參數修改工作流程,以符合特定需求。
- 提高效率 - 減少手動介入和錯誤,使作業更順暢。
AI Data Platform Workbench 中的工作流程可支援廣泛的使用案例,包括自動化 ETL 管線、來自多個來源的資料整合,以及進階分析。使用者可以將資料品質監控、機器學習模型訓練和部署自動化。這些功能可提升現代化資料導向工作流程的效率和擴展性。
最佳作法
- 任務模組化 - 將工作流程細分為可重複使用的任務,以簡化管理並提高維護能力。
- 有效率的資源配置 - 在適當時平行執行任務,以最佳化工作流程以獲得更好的效能。
- 錯誤處理 - 使用重試、錯誤通知和備用機制,確保工作流程能夠可靠地執行。
- 運算指定 - 根據工作負載大小,將特定運算資源指定給每項任務,以最佳化效能和成本。
藉由遵循這些最佳實務,您可以設計可擴展、可靠且高效率的工作流程,確保在 Oracle AI Data Platform 中達到最佳效能並簡化管理。