統合タスクの作成

統合タスクをデータ統合のプロジェクトまたはフォルダ内に作成します。統合タスクを使用すると、データ統合データ・フローを取得し、実行時に使用するパラメータ値を構成できます。

データ統合には、開始するために1つのデフォルト・プロジェクトが含まれています。独自のプロジェクトまたはフォルダを作成するには、「プロジェクトおよびフォルダ」を参照してください。プロジェクトまたはフォルダの統合タスクは、同じワークスペース内のどのプロジェクトやフォルダからでもデータ・フローを参照できます。

データ統合では、デフォルトでは、特定の時間にタスクの同時またはパラレル・タスク実行を設定できます。手動で開始された同時タスク実行を禁止するには、タスクの作成時に「タスクの同時実行の無効化」チェック・ボックスを選択します。同時タスク実行が許可されていない場合、非端末状態の進行中のタスク実行がすでにあると、タスクの実行リクエストは失敗します。

OCIデータ・フロー・サービスを使用するためのタスクの実行構成を更新するには、「OCIデータ・フロー・サービスによるタスクの実行に必要な設定とポリシー」の説明に従って、オブジェクト・ストレージ・バケットやデータ・フロー・プールなどの前提条件リソースがすでに作成されていることを確認します。

タスクを作成するプロジェクトまたはフォルダの「タスク」ページで、「タスクの作成」、「統合」の順に選択します。プロジェクトまたはフォルダ内の「タスク」ページの検索に関するヘルプが必要な場合は、タスクのリストを参照してください。
「統合タスクの作成」ページで、次の基本情報を入力します:
1. 「名前」および「識別子」フィールドに、必要な値を入力するか、このタスク(次のステップ)で選択したデータ・フローの名前に基づいて、データ統合によって値が自動的に入力されるようにします。
  
  データ統合でフィールドを自動的に入力する場合は、データ・フローを選択する前に値を変更または入力しないでください。選択したデータ・フローの名前に基づく値がフィールドに移入された後、値を変更できます。
  
  どちらの場合も、識別子は名前に基づいてシステムによって生成される値です。この値は変更できませんが、タスクを作成して保存した後は識別子を更新できません。
2. (オプション)タスクの説明を入力します。
3. このタスクの同時実行を禁止する場合は、「タスクの同時実行の無効化」チェック・ボックスを選択します。
4. (オプション)「プロジェクトまたはフォルダ」で、「選択」をクリックし、タスクの保存先の別のプロジェクトまたはフォルダを選択します。
「データ・フロー」セクションで、「選択」をクリックし、次のステップに従って、このタスクが実行されるデータ・フローを選択します:
1. 「データ・フローの選択」パネルで、次のいずれかのアクションを実行します:
  - 現在作業中のプロジェクトまたはフォルダに保存されているデータ・フローを選択します。
  - 別のプロジェクトまたはフォルダに保存されているデータ・フローを選択するには、現在のプロジェクトまたはフォルダ名の横にある「選択」をクリックします。表示される「プロジェクトまたはフォルダの選択」パネルで、プロジェクトまたはフォルダを選択し、「選択」をクリックします。次に、使用可能なデータ・フローのリストからデータ・フローを選択します。
2. 「選択」をクリックします。
  
  データ統合によって、選択したデータ・フローの検証が開始され、「統合タスクの作成」ページに戻ります。
  
  データ・フローにエラーまたは警告がある場合は、データ・フローの名前を選択すると、データ・フローが新しいタブで開きます。エラーまたは警告を解決し、データ・フローを保存します。「統合タスクの作成」ページに戻ると、データ統合によってデータ・フローが自動的に再検証されます。
タスクを初めて保存するには、次のいずれかのボタンを選択します。
- 作成: タスクを作成して保存します。タスクの作成と編集を続行できます。
- 作成してクローズ: タスクを作成して保存し、ページを閉じ、プロジェクトまたはフォルダの詳細ページのタスク・リストに戻ります。
次のいずれかのボタンを選択して、作業中に定期的に保存します。
- 保存: 最後の保存以降の変更をコミットします。保存後に編集を続行できます。
- 保存してクローズ: プロジェクトまたはフォルダの詳細ページのタスク・リストに戻り、変更をコミットします。
- 別名保存: 現在のタスクを上書きせずに、変更内容(最後の保存以降)をコミットしてコピーに保存します。コピーの名前を指定し、コピーのために別のプロジェクトまたはフォルダを選択することも、コピーを既存のタスクと同じプロジェクトまたはフォルダに保存することもできます。
「構成の実行」セクションで、次のいずれかを実行します:
- デフォルトでは、データ統合で作成するすべてのタスクは、「タスク実行サービス: OCIデータ統合サービス」というラベルで示されているように、OCIデータ統合サービスで実行されるように構成されます。追加の構成は不要です。ステップ10に進みます。
- OCIデータ・フロー・サービスでこのタスクを実行するには、「編集」を選択します。
  
  ノート
  
  OCIデータ・フロー・サービスの使用に必要なリソースおよびポリシーがすでに作成されていることを確認します。OCI Data Flow Serviceでタスクを実行するために必要な設定およびポリシーを参照してください。
  
  前提条件が満たされている場合は、ステップ9に進んでタスクの実行構成を更新し、必要に応じて実行プロパティのパラメータを使用します。

「タスク実行構成の更新」ページで、「OCIデータ・フロー・サービス」を選択します。次に、次の選択を完了して、OCIデータ・フローの実行プロパティを更新またはパラメータ化します。

これらのステップは、OCI Data Flow Serviceがタスクを実行するために必要な設定およびポリシーの説明に従って前提条件タスクを満たした後にのみ実行してください。

このタスクを実行するには、OCIデータ・フローのプールを選択します。
(オプション)OCIデータ・フローでプライベート・エンドポイントを選択します。
「ログ・バケット・パス」で、OCI Data Flowアプリケーションの実行ログに使用するオブジェクト・ストレージ・バケットを選択します。

タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。
「アーティファクト・バケット・パス」で、jarファイルやzipファイルなどのデータ統合実行ジョブ・アーティファクトに使用するオブジェクト・ストレージ・バケットを選択します。

タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。
(オプション)「アプリケーション・コンパートメント」で、データ・フロー・サービスでデータ統合サービス・タスクが実行されたときに作成されるOCIデータ・フロー・アプリケーションのコンパートメントを選択します。

アプリケーション・コンパートメントが指定されていない場合は、データ統合アプリケーション・コンパートメントが使用されます。
OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最小数を入力します。

デフォルトは1です。「最大ワーカー数」の値も1の場合、OCIデータ・フロー・ジョブの動的割当ては使用されません。
OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最大数を入力します。

デフォルトは1で、動的割当てが使用されないことを示します。OCIデータ・フロー・ジョブに動的割当てを使用する場合は、大きい値を指定します。この値は、「最小ワーカー数」の値以上である必要があります。
(オプション)「OCIデータ・フローSpark構成プロパティ」に、タスク実行に使用する1つ以上のSparkプロパティを入力します。

Sparkプロパティはキーと値のペアです。必要に応じて、「別のプロパティ」を選択してキーと値のペアを追加します。

追加できるSpark構成プロパティについては、サポートされているSparkプロパティを参照してください。

(オプション)タスク実行プロパティ(9aを9hにステップ)を構成した後、構成済プロパティ値より下にある「パラメータ化」を選択して、そのプロパティにパラメータを割り当てます。

パラメータ化すると、データ統合によってString型のパラメータが追加され、そのプロパティに対して現在構成されている値にデフォルト・パラメータ値が設定されます。ラベル「パラメータ化」の後にパラメータ名が表示されます。例: パラメータ化: OCI_DF_POOL

パラメータ名は、次のとおりです。

タスク実行プロパティ	パラメータ名
Pool	`OCI_DF_POOL`
プライベート・エンドポイント	`OCI_DF_PRIVATE_ENDPOINT`
ログ・バケット・パス	`OCI_DF_LOG_BUCKET`
アーティファクト・バケット・パス	`OCI_DF_ARTIFACT_BUCKET`
アプリケーション・コンパートメント	`OCI_DF_APP_COMPARTMENT`
最小ワーカー数	`OCI_DF_MIN_WORKERS`
最大ワーカー数	`OCI_DF_MAX_WORKERS`
カスタムOCIデータ・フロー構成	`OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG`

パラメータのアクションは次のとおりです。

「編集」を選択して、パラメータの説明を追加または編集します。パラメータ名とタイプは編集できません。パラメータの説明(追加した場合)は、設計時または実行時にパラメータ値を変更するためのヒントとしてパネルに表示されます。
プロパティをパラメータ化する必要がなくなった場合は、「削除」を選択します。

「保存」を選択します。

(オプション)選択したデータ・フローでパラメータが割り当てられている場合、次のステップに従ってデフォルト・パラメータ値を表示および変更します:
1. 「パラメータの構成」セクションで、「構成」を選択します。
2. 「パラメータの構成」ページで、必要に応じてデフォルト値を変更します。
  デフォルト値を編集する場合は、次の制限を考慮してください。
  - BICCソースの増分抽出戦略が、データ統合システム・パラメータSYS.LAST_LOAD_DATEによって管理される日付を使用するように構成されている場合、設計時に日付値を変更することはできません。
  - BICCソースの増分抽出戦略が、追加したパラメータ化された最終抽出日を使用するように構成されている場合は、設計時および実行時に日付値を変更できます。
  - パラメータ化されたターゲット・データ・エンティティがマージ戦略を使用するように構成されている場合は、マージ・キーの選択を変更できます。
  - ステージング場所を必要とするパラメータ化されたデータ・アセットの場合: そのデータ・アセットにデフォルトのステージング場所が指定されていないデータ・アセットを選択すると、データ統合によって警告通知が表示されます。通知が表示されたら、次のいずれかのオプションを選択します。
    - デフォルトのステージング場所を追加して、そのデータ・アセットを更新します。
    - デフォルトのステージング場所がある別のデータ・アセットを選択します。
3. 「構成」または「取消」を選択します。
  「統合タスクの作成」ページに戻ります。
(オプション)「タスクの検証」セクションで、「検証」を選択してパラメータ構成を確認します。

エラーまたは警告がある場合は、「メッセージの表示」を選択します。エラーがあれば、タスクを公開する前に解決します。
タスクの構成が終了したら、「作成してクローズ」または「保存してクローズ」を選択します。

タスクを実行するか、タスクを実行するようにスケジュールする前に、統合タスクをデータ統合のアプリケーションに公開します。必要に応じて、統合タスクをOCIデータ・フローに公開することもできます。公開情報については、タスクの公開を参照してください。

統合タスクを作成するには、oci data-integration task create-integration-taskコマンドと必要なパラメータを使用します:
oci data-integration task create-integration-task [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。
適切なリソース・サブタイプを指定してCreateTask操作を実行し、統合タスクを作成します。

Oracle Cloud Infrastructureドキュメント

統合タスクの作成