OCI Data Flowタスクの作成

データ統合のOCIデータ・フロー・タスクは、OCIデータ・フローに作成された既存のアプリケーションに関連付けられます。

OCI Data Flowタスクを作成する前に、「必要なポリシーと設定」の説明に従って、「データ統合」でOCI Data Flowタスクを操作するために必要なポリシー、設定および情報があることを確認します。

プロジェクトまたはフォルダにOCI Data Flowタスクを作成します。データ統合には、開始時に1つのデフォルト・プロジェクトが含まれています。独自のプロジェクトまたはフォルダを作成するには、プロジェクトおよびフォルダを参照してください。

デフォルトでは、データ統合では、特定の時間にタスクの同時またはパラレル・タスクを実行できます。手動で開始された同時タスク実行を禁止するには、タスクの作成時に「タスクの同時実行の無効化」チェック・ボックスを選択します。同時タスク実行が許可されていない場合、非端末状態の進行中のタスク実行がすでにあると、タスクの実行リクエストは失敗します。

ノート

シェイプの使用に関する柔軟な考慮事項:

フレキシブル・シェイプを使用する場合(VM.Standard.E4など)。フレックス)ドライバ・ノードまたはエグゼキュータ・ノード(あるいはその両方)の場合、OCPUの数と必要なメモリー量をカスタマイズします。
フレキシブル・シェイプは、そのシェイプに使用できる特定の範囲のOCPU値を提供します。
シェイプに使用するOCPUの数によって、割り当てることができるメモリー値の範囲が決まります。
ドライバまたはエグゼキュータ・シェイプをパラメータ化する場合は、シェイプにOCPUおよびメモリーを構成する必要があります。OCPUおよびメモリーの値は、シェイプ・パラメータ値がフレキシブル・シェイプの場合にのみ使用されます。パラメータに非フレキシブル・シェイプが構成されている場合、OCPUおよびメモリー値は無視されます。

1. タスクを作成するプロジェクトまたはフォルダを開きます。
  
  プロジェクトまたはフォルダの詳細ページを開くステップは、「プロジェクトの詳細の表示」または「フォルダの詳細の表示」を参照してください。
2. プロジェクトまたはフォルダの詳細ページで、「タスク」をクリックします。
3. 「タスク」セクションで、「タスクの作成」をクリックし、「OCIデータ・フロー」を選択します。
4. 「OCI Data Flowタスクの作成」ページで、名前およびオプションの説明を入力します。
  
  識別子は、名前に基づいてシステムによって生成される値です。この値は変更できませんが、タスクを作成して保存した後は識別子を更新できません。
5. このタスクの同時実行を禁止する場合は、「タスクの同時実行を無効化」チェック・ボックスを選択します。
6. (オプション)「プロジェクトまたはフォルダ」で、「選択」をクリックし、タスクを保存する別のプロジェクトまたはフォルダを選択します。
7. 最初にタスクを保存するには、次のいずれかのボタンをクリックします。
  
  作成: タスクを作成して保存します。タスクの作成と編集を続行できます。
  
  作成してクローズ: タスクを作成して保存し、ページを閉じ、プロジェクトまたはフォルダの詳細ページのタスク・リストに戻ります。
8. 次のいずれかのボタンをクリックして、作業中に定期的に保存します。
  
  保存: 前回の保存以降の変更をコミットします。保存後に編集を続行できます。
  
  保存してクローズ: プロジェクトまたはフォルダの詳細ページのタスク・リストに戻り、変更をコミットします。
  
  別名保存: 現在のタスクを上書きせずに、変更内容(最後の保存以降)をコミットしてコピーに保存します。コピーの名前を指定し、コピーのために別のプロジェクトまたはフォルダを選択することも、コピーを既存のタスクと同じプロジェクトまたはフォルダに保存することもできます。
9. 「OCI Data Flowアプリケーション」セクションで、「選択」をクリックし、次のステップに従って、このタスクが実行されるOCI Data Flowアプリケーションを選択します:
  
  「OCI Data Flowアプリケーションの選択」ページで、タスクに関連付けるアプリケーションが含まれるコンパートメントを選択します。
  
  「アプリケーション」リストで、アプリケーションを選択します。
  
  「選択」をクリックします。
  
  「OCIデータ・フロー・タスクの作成」ページに戻ります。
10. 「プロパティの構成」セクションで、「構成」をクリックして、選択したアプリケーションのプロパティを構成します。
  
  表示される「構成」ページで、プロパティ値を直接入力するか、プロパティを(デフォルト値で)パラメータ化します。アプリケーション・プロパティを明示的に構成しない場合は、OCI Data Flowアプリケーションで定義されているデフォルト値が使用されます。
  
  プロパティ値を直接選択または入力するには:
  
  ドライバ・シェイプ: Sparkドライバ・ホストに使用するクラスタ・ノードのタイプを選択します。
  
  フレキシブル・シェイプが選択されている場合は、選択したシェイプに割り当てることができるOCPUの数およびメモリー量を選択します。OCPUの許容値は、選択したシェイプによって異なります。メモリーの許容値は、選択したOCPUの値によって異なります。
  
  エグゼキュータ・シェイプ: 各Sparkエグゼクティブ・ホストに使用するクラスタ・ノードのタイプを選択します。
  
  フレキシブル・シェイプが選択されている場合は、選択したシェイプに割り当てることができるOCPUの数およびメモリー量を選択します。OCPUの許容値は、選択したシェイプによって異なります。メモリーの許容値は、選択したOCPUの値によって異なります。
  
  エグゼクティブの数: OCI Data Flowアプリケーションの実行時に起動するSparkエグゼキュータ・クラスタ・ノードの数を入力します。
  
  引数: Java、PythonまたはScalaアプリケーションのメイン・クラスに渡す引数のカンマ区切りリストを入力します。
  
  パラメータをプロパティ値に割り当てるには:
  
  プロパティの横にある「パラメータの割当て」をクリックします。
  
  ドライバまたはエグゼキュータ・シェイプをパラメータ化する場合は、シェイプにOCPUおよびメモリーを構成する必要があります。OCPUおよびメモリーの値は、シェイプ・パラメータ値がフレキシブル・シェイプの場合にのみ使用されます。パラメータに非フレキシブル・シェイプが構成されている場合、OCPUおよびメモリー値は無視されます。
  
  「パラメータの割当て」ページで、次のいずれかを実行します。
  
  リストからパラメータを選択します。同じプロパティ・タイプのパラメータのみが、選択のためにリストに表示されます。
  
  「パラメータの追加」をクリックします。「パラメータの追加」パネルで、名前(識別子)とオプションの説明を入力します。次に、プロパティ・タイプに応じて、デフォルト値を選択するか、プロパティのデフォルト値を入力して「追加」をクリックします。追加されたパラメータは、「パラメータの割当て」ページで自動的に選択されます。
  
  「割当て」をクリックします。
  
  フレキシブル・シェイプのOCPUおよびメモリー値をパラメータ化する場合、データ統合では、そのプロパティで許容可能な値の範囲内にない値を指定したときにエラー・メッセージが表示されます。パラメータを編集し、許容値のいずれかを入力します。
  
  (オプション)「Spark構成プロパティ」で、プロパティのキー・ペアを追加します。さらにキー・ペアを追加する必要がある場合は、「別のプロパティ」をクリックします。
  
  追加できるSpark構成プロパティは、選択したOCIデータ・フロー・アプリケーションのSparkバージョンによって異なる場合があります。サポートされているSparkプロパティを参照してください。
  
  OCIデータ・フロー・アプリケーション・プロパティおよびSparkプロパティの構成が終了したら、「完了」をクリックします。
  
  「OCIデータ・フロー・タスクの作成」ページに戻ります。
  
  「プロパティの構成」セクションで、割り当てたパラメータの数が「パラメータの表示」の横カッコ内に表示されます。
11. (オプション)「パラメータの表示」をクリックして、割り当てられたパラメータの確認、デフォルト・パラメータ値の編集、またはパラメータの削除を行います。
  
  「パラメータの表示」ページで、パラメータのデフォルト値を編集するか、パラメータの「アクション」メニューを使用してパラメータを削除します。パラメータを削除すると、そのパラメータに割り当てられている値がそのプロパティのデフォルト値になります。
12. (オプション)「タスクの検証」セクションで、「検証」をクリックしてプロパティ構成を確認します。
13. タスクの構成が終了したら、「作成して閉じる」または「保存して閉じる」をクリックします。
OCIデータ・フロー・タスクをデータ統合のアプリケーションに公開した後で、タスクを実行するか、タスク実行のスケジュールを設定します。情報の公開については、データ統合アプリケーションへの公開を参照してください。
OCI data-integration task create-task-from-dataflow-taskコマンドと必要なパラメータを使用して、OCIデータ・フロー・タスクを作成します:
oci data-integration task create-task-from-dataflow-task [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。
適切なリソース・サブタイプを指定してCreateTask操作を実行し、OCIデータ・フロー・タスクを作成します。

Oracle Cloud Infrastructureドキュメント

OCI Data Flowタスクの作成