使用工作流程設定 Spark 結構化串流處理

您可以在工作流程內設定串流作業,以持續處理串流資料。

您必須先建立工作,然後新增一個記事本或 Python 工作至該工作,才能開始在 Oracle AI Data Platform Workbench 中使用串流處理的工作流程。
  1. 瀏覽至您的工作區,然後按一下工作流程
  2. 按一下 建立叢集圖示 建立工作
  3. 提供您工作的名稱和描述。
  4. 按一下瀏覽,然後選取要將工作儲存在「AI 資料平台工作台」中的位置。按一下「選取」
  5. 輸入 1 代表並行執行上限
  6. 按一下建立
  7. 按一下您剛建立的工作。
  8. 按一下新增工作
  9. 提供任務的名稱。
  10. 選取記事本Python 作為工作類型
  11. 按一下瀏覽,然後瀏覽至要新增為「串流」作業的記事本或 Python 命令檔。按一下「選取」
  12. 選取記事本或 Python 作業的運算叢集 (如果尚未連附的話)。
  13. 選取串流核取方塊。選取「串流處理」會停用執行逾時與作業相依性作為選項。

    已選取「串流處理」核取方塊來開啟「建立作業詳細資訊」頁面

  14. 選取工作失敗時應嘗試的重試次數。如果選取超過 0,您還必須指定工作執行在重試之間應該等待多少時間,以及是否應該在逾時時嘗試重試。

    重試次數大於或等於 1 時的作業重試選項

  15. 按一下立即執行
Streaming 工作啟動後,會繼續執行,直到您手動停止該工作為止。在每月定期維護期間,服務會停止並重新啟動 Streaming 作業,而不需要結束任何動作。