パイプラインの作成

タスクを実行するデータ・サイエンス・パイプラインを作成します。ADS SDK、OCIコンソールまたはOCI SDKを使用して、パイプラインを作成できます。ADSを使用してパイプラインを作成すると、パイプライン、ステップおよび依存関係の開発が容易になります。ADSでは、YAMLファイルとの間のパイプラインの読取りおよび書込みがサポートされています。ADSを使用して、パイプラインのビジュアル表現を表示できます。ADSを使用して、コードを使用してパイプラインを作成および管理することをお薦めします。

パイプラインに必要なポリシー、認証および認可を作成していることを確認します。

重要

スクリプト・ステップを適切に操作するには、次のルールが動的グループ・ポリシーに追加されていることを確認します:
all {resource.type='datasciencepipelinerun', resource.compartment.id='<pipeline-run-compartment-ocid>'}
    1. 「プロジェクト」リスト・ページで、操作するパイプラインを含むプロジェクトを選択します。リスト・ページまたはプロジェクトの検索に関するヘルプが必要な場合は、プロジェクトのリストを参照してください。
    2. プロジェクトの詳細ページで、「パイプライン」を選択します。
    3. 「パイプラインの作成」を選択します。
    4. パイプラインの作成ページで、次の情報を入力します:
      • コンパートメント: パイプラインを格納するコンパートメントを選択します。
      • 名前(オプション): パイプラインの名前を入力します(制限は255文字)。名前を指定しない場合、名前は自動的に生成されます。例: pipeline2022808222435
      • Description (オプション): パイプラインの説明を入力します。
      • パイプライン・ステップ: パイプラインに追加するパイプライン・ステップごとに、「パイプライン・ステップの追加」を選択して「パイプライン・ステップの追加」パネルを開き、必要なパイプライン・ステップのタイプの手順に従います。

        ジョブ: ジョブからパイプライン・ステップを作成するには、「ジョブから」を選択し、次の情報を入力します。

        ノート

        オプションで、環境変数、コマンドライン引数および最大ランタイム・オプションを入力して、パイプラインの実行時に使用されるデフォルトのパイプライン構成を作成します。
        • ステップ名: ステップの一意の名前を入力します。パイプラインでステップ名を繰り返すことはできません。
        • ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
        • ステップ実行名
        • 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
        • ジョブ・コンパートメントの選択: パイプライン・ステップとして使用するジョブを含むコンパートメントを選択します。
        • ジョブの選択: パイプライン・ステップとして使用するジョブを選択します。
        • パラメータ(オプション):
          ノート

          このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:
          { "message":"Hello John!", "ocpu": 2, "memory": 10 }
          • カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数
          • (オプション): キーの値。
        • コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
        • 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
        • 出力パラメータ(オプション):
          • 出力パラメータ・タイプ: JSONを選択します。
          • パラメータ名: パラメータ名を入力してください。
          • 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例: /home/datascience/output.json
        • 保存: ステップを保存する場合に選択します。

          「パイプラインの作成」ページが再オープンされ、ステップが追加されます。

        スクリプト: スクリプトからパイプライン・ステップを作成するには、「スクリプトから」を選択し、次の情報を入力します。

        • ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
        • ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
        • 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
        • ジョブ・アーティファクトのアップロード: ボックスにジョブ・ステップ・ファイルをドラッグするか、ボックスを選択して選択対象のファイルにナビゲートします。
        • エントリポイント(オプション): ステップのエントリ実行ポイントとなるファイルを選択します。これは、多数のファイルがある場合に便利です。
        • パラメータ(オプション):
          ノート

          このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:
          { "message":"Hello John!", "ocpu": 2, "memory": 10 }
          • カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数
          • (オプション): キーの値。
        • コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
        • 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
        • 出力パラメータ(オプション):
          • 出力パラメータ・タイプ: JSONを選択します。
          • パラメータ名: パラメータ名を入力してください。
          • 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例: /home/datascience/output.json
        • コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。
          ノート

          AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。
          • インスタンス・タイプの選択
          • シェイプ・シリーズを選択します。
          • サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
          • 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
            • OCPUの数
            • メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
            • バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
          • 「シェイプの選択」を選択します。
        • パラメータ化されたコンピュート・シェイプ
          • パラメータ化されたシェイプ
          • パラメータ化されたOcpu
          • パラメータ化されたMemoryInGBs
        • ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
        • ネットワーキング・リソース: 関連するオプションを選択します。
          • デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。

            パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースの作成や、ネットワーキング権限のポリシーの書込みは不要です。

          • インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。
            ノート

            切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network - データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404 NotAuthorizedOrNotFoundエラーが表示されます。
          • Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。

            パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。

            ノート

            • ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
            • カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
            • バナーThe specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
        • ストレージ・マウント(オプション):
          • ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
            • コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
            • マウント・ターゲット: 使用するマウント・ターゲット。
            • エクスポート・パス: 使用するエクスポート・パス。
            • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

              パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

              フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

          • オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
            • コンパートメント: マウントするバケットが含まれるコンパートメントを選択します、
            • バケット: 使用するバケットを選択します。
            • オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
            • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

              パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

              フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

            ノート

            カスタム・ネットワークを使用する場合:
            1. VCNにサービス・ゲートウェイを作成します。
            2. プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
            3. 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
        • 保存: ステップを保存する場合に選択します。

          「パイプラインの作成」ページが再オープンされ、ステップが追加されます。

        コンテナ: コンテナからパイプライン・ステップを作成するには、「コンテナから」を選択し、次の情報を入力します。

        オプションで、パイプライン・ステップを定義するときに、「独自のコンテナの持込み」の使用を選択できます。詳細は、パイプラインの独自のコンテナ持込み(BYOC)を参照してください。

        • ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
        • ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
        • 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
        • コンテナ環境の構成: 「構成」を選択して「コンテナ環境の構成」パネルを開き、次の情報を入力します。
          • リポジトリ・コンパートメント
          • レポジトリ
          • イメージ
          • Entrypoint
          • CMD: CMDをENTRYPOINTの引数として使用するか、ENTRYPOINTがない場合に実行する唯一のコマンドを使用します。
          • イメージ・ダイジェスト(オプション)
          • 署名ID(オプション): 署名検証を使用する場合は、イメージ署名のOCIDを入力します。例: ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
        • コンテナ環境の構成: 「構成」を選択して「コンテナ環境の構成」パネルを開き、次の情報を入力します。
          • リポジトリ・コンパートメント
          • レポジトリ
          • イメージ
          • エントリポイント (オプション)
          • CMD (オプション): CMDをENTRYPOINTの引数として使用するか、ENTRYPOINTがない場合に実行する唯一のコマンドを使用します。
          • イメージ・ダイジェスト(オプション)
          • 署名ID(オプション): 署名検証を使用する場合は、イメージ署名のOCIDを入力します。例: ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
        • ジョブ・アーティファクトのアップロード: ステップ・アーティファクトをボックスにドラッグするか、ボックスを選択して選択対象のファイルにナビゲートします。

          このステップは、BYOCが構成されている場合にのみオプションです。

        • パラメータ(オプション):
          ノート

          このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:
          { "message":"Hello John!", "ocpu": 2, "memory": 10 }
          • カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数
          • (オプション): キーの値。
        • コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
        • 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
        • 出力パラメータ(オプション):
          • 出力パラメータ・タイプ: JSONを選択します。
          • パラメータ名: パラメータ名を入力してください。
          • 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例: /home/datascience/output.json
        • コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。
          ノート

          AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。
          • インスタンス・タイプの選択
          • シェイプ・シリーズを選択します。
          • サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
          • 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
            • OCPUの数
            • メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
            • バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
          • 「シェイプの選択」を選択します。
        • パラメータ化されたコンピュート・シェイプ
          • パラメータ化されたシェイプ
          • パラメータ化されたOcpu
          • パラメータ化されたMemoryInGBs
        • ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
        • ネットワーキング・リソース: 関連するオプションを選択します。
          • デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。

            パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースを作成したり、ネットワーキング権限のポリシーを記述する必要はありません。

          • インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。
            ノート

            切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network - データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404 NotAuthorizedOrNotFoundエラーが表示されます。
          • Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。

            パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。

            ノート

            • ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
            • カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
            • バナーThe specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
        • ストレージ・マウント(オプション):
          • ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
            • コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
            • マウント・ターゲット: 使用するマウント・ターゲット。
            • エクスポート・パス: 使用するエクスポート・パス。
            • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

              パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

              フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

          • オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
            • コンパートメント: マウントするバケットが含まれるコンパートメントを選択します、
            • バケット: 使用するバケットを選択します。
            • オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
            • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

              パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

              フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

            ノート

            カスタム・ネットワークを使用する場合:
            1. VCNにサービス・ゲートウェイを作成します。
            2. プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
            3. 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
        • 保存: ステップを保存する場合に選択します。

          「パイプラインの作成」ページが再オープンされ、ステップが追加されます。

        データ・フロー・アプリケーション: データ・フロー・アプリケーションからパイプライン・ステップを作成するには、「データ・フロー・アプリケーションから」を選択し、次の情報を入力します。

        • ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
        • ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
        • 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
        • データフロー・アプリケーション・コンパートメントを選択します
        • データフロー・アプリケーションを選択します
        • パラメータ(オプション):
          ノート

          このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:
          { "message":"Hello John!", "ocpu": 2, "memory": 10 }
          • カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数
          • (オプション): キーの値。
        • コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
        • 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
        • データ・フロー構成: 「構成」を選択して「データ・フロー構成の構成」パネルを開き、次の情報を入力します。
          • ドライバ・シェイプ
          • ドライバOCPU
          • ドライバ・メモリー(GB)
          • エグゼキュータ・シェイプ
          • エグゼキュータOCPU
          • エグゼキュータ・メモリー(GB)
          • エグゼキュータの数
          • バケット・パスを手動で入力します
            • ログ・バケットURI
          • オブジェクト・ストレージ・バケット名コンパートメント
          • オブジェクト・ストレージ・バケット名
          • キー
          • ウェアハウス・バケットURI
          • 構成: 入力した情報を保存し、「パイプライン・ステップの追加」ページに戻る場合に選択します。
        • 保存: ステップを保存する場合に選択します。

          「パイプラインの作成」ページが再オープンされ、ステップが追加されます。

      • パラメータ(オプション):
        ノート

        このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:
        { "message":"Hello John!", "ocpu": 2, "memory": 10 }
        • カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数
        • (オプション): キーの値。
      • コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
      • 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
      • カスタム・パラメータ・キー
      • コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。
        ノート

        AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。
        • インスタンス・タイプの選択
        • シェイプ・シリーズを選択します。
        • サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
        • 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
          • OCPUの数
          • メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
          • バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
        • 「シェイプの選択」を選択します。
      • パラメータ化されたコンピュート・シェイプ
        • パラメータ化されたシェイプ
        • パラメータ化されたOcpu
        • パラメータ化されたMemoryInGBs
      • ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
      • ネットワーキング・リソース: 関連するオプションを選択します。
        • デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。

          パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースを作成したり、ネットワーキング権限のポリシーを記述する必要はありません。

        • インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。
          ノート

          切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network - データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404 NotAuthorizedOrNotFoundエラーが表示されます。
        • Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。

          パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。

          ノート

          • ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
          • カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
          • バナーThe specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
      • ロギングの有効化(オプション): ログ・メッセージ。
        • ログ・グループ・コンパートメント: ログ・グループを含むコンパートメントを選択します。
        • ログ・グループ: ログのグループを選択します。
      • ストレージ・マウント(オプション):
        • ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
          • コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
          • マウント・ターゲット: 使用するマウント・ターゲット。
          • エクスポート・パス: 使用するエクスポート・パス。
          • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

            パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

            フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

        • オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
          • コンパートメント: マウントするバケットが含まれるコンパートメントを選択してください。
          • バケット: 使用するバケットを選択します。
          • オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
          • 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。

            パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。

            フル・パス(/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/bin/etcなど)は指定できません。

          ノート

          カスタム・ネットワークを使用する場合:
          1. VCNにサービス・ゲートウェイを作成します。
          2. プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
          3. 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
      • タグ(「拡張オプション」の下): パイプラインにタグを追加します。リソースを作成するアクセス許可がある場合、そのリソースにフリーフォーム・タグを適用するアクセス許可もあります。定義済タグを適用するには、タグネームスペースを使用する権限を持つ必要があります。タグ付けの詳細は、リソース・タグを参照してください。 タグを適用するかどうかわからない場合は、このオプションをスキップするか、管理者に問い合せてください。後でタグを適用できます。
    5. 「作成」を選択します。

      パイプラインがアクティブ状態になったら、パイプライン実行を使用してパイプラインを繰り返し実行できます。

  • これらの環境変数は、パイプライン実行を制御します。

    OCI CLIを使用して、このPythonの例のようにパイプラインを作成できます:

    1. パイプラインの作成:

      ペイロードで使用できるパラメータは次のとおりです。

      パラメータ名 必須 説明
      パイプライン(最上位レベル)
      projectId 必須 パイプラインを作成するプロジェクトOCID。
      compartmentId 必須 パイプラインを作成するコンパートメントOCID。
      displayName オプション パイプラインの名前。
      infrastructureConfigurationDetails オプション

      すべてのパイプライン・ステップに使用するデフォルト・インフラストラクチャ(コンピュート)構成。サポートされているパラメータの詳細は、infrastructureConfigurationDetailsを参照してください。

      パイプライン実行構成によってオーバーライドできます。

      logConfigurationDetails オプション

      すべてのパイプライン・ステップに使用するデフォルト・ログ。サポートされているパラメータの詳細は、logConfigurationDetailsを参照してください。

      パイプライン実行構成によってオーバーライドできます。

      configurationDetails オプション

      パイプライン実行のデフォルト構成。サポートされているパラメータの詳細は、configurationDetailsを参照してください。

      パイプライン実行構成によってオーバーライドできます。

      freeformTags オプション パイプライン・リソースに追加するタグ。
      stepDetails
      stepName 必須 ステップの名前。パイプラインで一意である必要があります。
      description オプション ステップのフリー・テキストの説明。
      stepType 必須 CUSTOM_SCRIPTまたはML_JOB
      jobId 必須* ML_JOBステップの場合、これはステップ実行に使用するジョブOCIDです。
      stepInfrastructureConfigurationDetails オプション*

      このステップで使用するデフォルト・インフラストラクチャ(コンピュート)構成。サポートされているパラメータの詳細は、infrastructureConfigurationDetailsを参照してください。

      パイプライン実行構成によってオーバーライドできます。

      *少なくとも1つのレベル(優先度に基づく優先度、1が最も高いレベル)で定義する必要があります。

      1つのパイプライン実行または

      2ステップまたは

      3 パイプライン

      stepConfigurationDetails オプション*

      ステップ実行のデフォルト構成。サポートされているパラメータの詳細は、configurationDetailsを参照してください。

      パイプライン実行構成によってオーバーライドできます。

      *少なくとも1つのレベル(優先度に基づく優先度、1が最も高いレベル)で定義する必要があります。

      1つのパイプライン実行または

      2ステップまたは

      3 パイプライン

      dependsOn オプション このステップを開始する前に完了する必要があるステップのリスト。これにより、パイプライン・ワークフロー依存性グラフが作成されます。
      infrastructureConfigurationDetails
      shapeName 必須 使用するコンピュート・シェイプの名前。たとえば、VM.Standard2.4です。
      blockStorageSizeInGBs 必須 VMのアタッチされたストレージとして使用するGBの数。
      logConfigurationDetails
      enableLogging 必須 ロギングを使用するように定義します。
      logGroupId 必須 ログに使用するログ・グループOCID。ログ・グループが作成され、パイプラインの実行時に使用可能である必要があります
      logId オプション* enableAutoLogCreationパラメータを使用しない場合にログに使用するログOCID。
      enableAutoLogCreation オプション Trueに設定すると、各パイプライン実行のログが作成されます。
      configurationDetails
      type 必須 DEFAULTのみサポートされます。
      maximumRuntimeInMinutes オプション パイプラインの実行時間制限(分)。
      environmentVariables オプション

      パイプライン・ステップ実行に提供する環境変数。

      例:

      "environmentVariables": {
      
       "CONDA_ENV_TYPE": "service"
      
      }

      サービスでサポートされている環境変数のリストを確認します。

      pipeline_payload = {
          "projectId": "<project_id>",
          "compartmentId": "<compartment_id>",
          "displayName": "<pipeline_name>",
          "pipelineInfrastructureConfigurationDetails": {
              "shapeName": "VM.Standard2.1",
              "blockStorageSizeInGBs": "50"
          },
          "pipelineLogConfigurationDetails": {
              "enableLogging": True,
              "logGroupId": "<log_group_id>",
              "logId": "<log_id>"
          },
          "pipelineDefaultConfigurationDetails": {
              "type": "DEFAULT",
              "maximumRuntimeInMinutes": 30,
              "environmentVariables": {
                  "CONDA_ENV_TYPE": "service",
                  "CONDA_ENV_SLUG": "classic_cpu"
              }
          },
          "stepDetails": [
              {
                  "stepName": "preprocess",
                  "description": "Preprocess step",
                  "stepType": "CUSTOM_SCRIPT",
                  "stepInfrastructureConfigurationDetails": {
                      "shapeName": "VM.Standard2.4",
                      "blockStorageSizeInGBs": "100"
                  },
                  "stepConfigurationDetails": {
                      "type": "DEFAULT",
                      "maximumRuntimeInMinutes": 90
                      "environmentVariables": {
                          "STEP_RUN_ENTRYPOINT": "preprocess.py",
                          "CONDA_ENV_TYPE": "service",
                          "CONDA_ENV_SLUG": "onnx110_p37_cpu_v1"
                  }
              },
              {
                  "stepName": "postprocess",
                  "description": "Postprocess step",
                  "stepType": "CUSTOM_SCRIPT",
                  "stepInfrastructureConfigurationDetails": {
                      "shapeName": "VM.Standard2.1",
                      "blockStorageSizeInGBs": "80"
                  },
                  "stepConfigurationDetails": {
                      "type": "DEFAULT",
                      "maximumRuntimeInMinutes": 60
                  },
                  "dependsOn": ["preprocess"]
              },
          ],
          "freeformTags": {
              "freeTags": "cost center"
          }
      }
      pipeline_res = dsc.create_pipeline(pipeline_payload)
      pipeline_id = pipeline_res.data.id

      すべてのパイプライン・ステップ・アーティファクトがアップロードされるまで、パイプラインはCREATING状態になります。

    2. ステップ・アーティファクトのアップロード:

      アーティファクトは、アップロード後に変更できません。

      fstream = open(<file_name>, "rb")
      dsc.create_step_artifact(pipeline_id, step_name, fstream, content_disposition=f"attachment; filename={<file_name>}")
    3. パイプラインの更新:

      パイプラインを更新できるのは、ACTIVE状態の場合のみです。

      update_pipeline_details = {
      "displayName": "pipeline-updated"
      }
      self.dsc.update_pipeline(<pipeline_id>, <update_pipeline_details>)
    4. パイプライン実行の開始:
      pipeline_run_payload = {
      "projectId": project_id,
      "displayName": "pipeline-run",
      "pipelineId": <pipeline_id>,
      "compartmentId": <compartment_id>,
      }
      dsc.create_pipeline_run(pipeline_run_payload)
  • ADS SDKは、次のコマンドを使用してインストールできる、パブリックに使用可能なPythonライブラリでもあります:

    pip install oracle-ads

    ADS SDKを使用してパイプラインを作成および実行できます。

APIを使用したカスタム・ネットワーキングによるパイプラインの作成

パイプラインの作成時にカスタム・ネットワーキングを選択できます。パイプラインですでに作成したカスタム・ネットワークを使用して、ネットワークの柔軟性を高めます。

パイプライン・レベルでカスタム・サブネットを使用するには、infrastructure-configuration-detailssubnet-idを指定します。例:

"infrastructure-configuration-details": {
      "block-storage-size-in-gbs": 50,
      "shape-config-details": {
        "memory-in-gbs": 16.0,
        "ocpus": 1.0
      },
      "shape-name": "VM.Standard.E4.Flex",
      "subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
}

または、step-container-configuration-detailsで、特定のステップにカスタム・サブネットを使用します。例:

"step-infrastructure-configuration-details": {
          "block-storage-size-in-gbs": 50,
          "shape-config-details": {
            "memory-in-gbs": 16.0,
            "ocpus": 1.0
          },
          "shape-name": "VM.Standard.E4.Flex",
          "subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
},