パイプラインの作成
タスクを実行するデータ・サイエンス・パイプラインを作成します。ADS SDK、OCIコンソールまたはOCI SDKを使用して、パイプラインを作成できます。ADSを使用してパイプラインを作成すると、パイプライン、ステップおよび依存関係の開発が容易になります。ADSでは、YAMLファイルとの間のパイプラインの読取りおよび書込みがサポートされています。ADSを使用して、パイプラインのビジュアル表現を表示できます。ADSを使用して、コードを使用してパイプラインを作成および管理することをお薦めします。
パイプラインに必要なポリシー、認証および認可を作成していることを確認します。
スクリプト・ステップを適切に操作するには、次のルールが動的グループ・ポリシーに追加されていることを確認します:
all {resource.type='datasciencepipelinerun', resource.compartment.id='<pipeline-run-compartment-ocid>'}開始する前に
- ステップ・アーティファクト・ファイルを作成します。
- パイプライン環境変数の使用を確認します。
- パイプライン・ログを保存および管理するには、ロギングについて学習します。
- どのconda環境を使用するかを決定します。カスタムconda環境が必要な場合は、作成および公開します。
- 「プロジェクト」リスト・ページで、操作するパイプラインを含むプロジェクトを選択します。リスト・ページまたはプロジェクトの検索に関するヘルプが必要な場合は、プロジェクトのリストを参照してください。
- プロジェクトの詳細ページで、「パイプライン」を選択します。
- 「パイプラインの作成」を選択します。
-
パイプラインの作成ページで、次の情報を入力します:
- コンパートメント: パイプラインを格納するコンパートメントを選択します。
- 名前(オプション): パイプラインの名前を入力します(制限は255文字)。名前を指定しない場合、名前は自動的に生成されます。例:
pipeline2022808222435 - Description (オプション): パイプラインの説明を入力します。
- パイプライン・ステップ: パイプラインに追加するパイプライン・ステップごとに、「パイプライン・ステップの追加」を選択して「パイプライン・ステップの追加」パネルを開き、必要なパイプライン・ステップのタイプの手順に従います。
ジョブ: ジョブからパイプライン・ステップを作成するには、「ジョブから」を選択し、次の情報を入力します。
ノート
オプションで、環境変数、コマンドライン引数および最大ランタイム・オプションを入力して、パイプラインの実行時に使用されるデフォルトのパイプライン構成を作成します。- ステップ名: ステップの一意の名前を入力します。パイプラインでステップ名を繰り返すことはできません。
- ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
- ステップ実行名
- 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
- ジョブ・コンパートメントの選択: パイプライン・ステップとして使用するジョブを含むコンパートメントを選択します。
- ジョブの選択: パイプライン・ステップとして使用するジョブを選択します。
- パラメータ(オプション):ノート
このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:{ "message":"Hello John!", "ocpu": 2, "memory": 10 }- カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数。
- 値(オプション): キーの値。
- コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
- 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
- 出力パラメータ(オプション):
- 出力パラメータ・タイプ:
JSONを選択します。 - パラメータ名: パラメータ名を入力してください。
- 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例:
/home/datascience/output.json。
- 出力パラメータ・タイプ:
- 保存: ステップを保存する場合に選択します。
「パイプラインの作成」ページが再オープンされ、ステップが追加されます。
スクリプト: スクリプトからパイプライン・ステップを作成するには、「スクリプトから」を選択し、次の情報を入力します。
- ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
- ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
- 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
- ジョブ・アーティファクトのアップロード: ボックスにジョブ・ステップ・ファイルをドラッグするか、ボックスを選択して選択対象のファイルにナビゲートします。
- エントリポイント(オプション): ステップのエントリ実行ポイントとなるファイルを選択します。これは、多数のファイルがある場合に便利です。
- パラメータ(オプション):ノート
このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:{ "message":"Hello John!", "ocpu": 2, "memory": 10 }- カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数。
- 値(オプション): キーの値。
- コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
- 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
- 出力パラメータ(オプション):
- 出力パラメータ・タイプ:
JSONを選択します。 - パラメータ名: パラメータ名を入力してください。
- 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例:
/home/datascience/output.json。
- 出力パラメータ・タイプ:
- コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。ノート
AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。- インスタンス・タイプの選択
- シェイプ・シリーズを選択します。
- サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
- 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
- OCPUの数
- メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
- バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
- 「シェイプの選択」を選択します。
- パラメータ化されたコンピュート・シェイプ
- パラメータ化されたシェイプ
- パラメータ化されたOcpu
- パラメータ化されたMemoryInGBs
- ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
- ネットワーキング・リソース: 関連するオプションを選択します。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースの作成や、ネットワーキング権限のポリシーの書込みは不要です。
- インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。ノート
切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network- データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404NotAuthorizedOrNotFoundエラーが表示されます。 - Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。
パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。
ノート
- ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
- カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
- バナー
The specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
- ストレージ・マウント(オプション):
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
- マウント・ターゲット: 使用するマウント・ターゲット。
- エクスポート・パス: 使用するエクスポート・パス。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
- オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするバケットが含まれるコンパートメントを選択します、
- バケット: 使用するバケットを選択します。
- オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
ノート
カスタム・ネットワークを使用する場合:- VCNにサービス・ゲートウェイを作成します。
- プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
- 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- 保存: ステップを保存する場合に選択します。
「パイプラインの作成」ページが再オープンされ、ステップが追加されます。
コンテナ: コンテナからパイプライン・ステップを作成するには、「コンテナから」を選択し、次の情報を入力します。
オプションで、パイプライン・ステップを定義するときに、「独自のコンテナの持込み」の使用を選択できます。詳細は、パイプラインの独自のコンテナ持込み(BYOC)を参照してください。
- ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
- ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
- 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
- コンテナ環境の構成: 「構成」を選択して「コンテナ環境の構成」パネルを開き、次の情報を入力します。
- リポジトリ・コンパートメント
- レポジトリ
- イメージ
- Entrypoint
- CMD: CMDをENTRYPOINTの引数として使用するか、ENTRYPOINTがない場合に実行する唯一のコマンドを使用します。
- イメージ・ダイジェスト(オプション)
- 署名ID(オプション): 署名検証を使用する場合は、イメージ署名のOCIDを入力します。例:
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
- コンテナ環境の構成: 「構成」を選択して「コンテナ環境の構成」パネルを開き、次の情報を入力します。
- リポジトリ・コンパートメント
- レポジトリ
- イメージ
- エントリポイント (オプション)
- CMD (オプション): CMDをENTRYPOINTの引数として使用するか、ENTRYPOINTがない場合に実行する唯一のコマンドを使用します。
- イメージ・ダイジェスト(オプション)
- 署名ID(オプション): 署名検証を使用する場合は、イメージ署名のOCIDを入力します。例:
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
- ジョブ・アーティファクトのアップロード: ステップ・アーティファクトをボックスにドラッグするか、ボックスを選択して選択対象のファイルにナビゲートします。
このステップは、BYOCが構成されている場合にのみオプションです。
- パラメータ(オプション):ノート
このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:{ "message":"Hello John!", "ocpu": 2, "memory": 10 }- カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数。
- 値(オプション): キーの値。
- コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
- 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
- 出力パラメータ(オプション):
- 出力パラメータ・タイプ:
JSONを選択します。 - パラメータ名: パラメータ名を入力してください。
- 出力ファイル名: ステップが出力パラメータを格納する出力ファイル名を選択します。例:
/home/datascience/output.json。
- 出力パラメータ・タイプ:
- コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。ノート
AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。- インスタンス・タイプの選択
- シェイプ・シリーズを選択します。
- サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
- 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
- OCPUの数
- メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
- バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
- 「シェイプの選択」を選択します。
- パラメータ化されたコンピュート・シェイプ
- パラメータ化されたシェイプ
- パラメータ化されたOcpu
- パラメータ化されたMemoryInGBs
- ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
- ネットワーキング・リソース: 関連するオプションを選択します。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースを作成したり、ネットワーキング権限のポリシーを記述する必要はありません。
- インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。ノート
切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network- データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404NotAuthorizedOrNotFoundエラーが表示されます。 - Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。
パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。
ノート
- ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
- カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
- バナー
The specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
- ストレージ・マウント(オプション):
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
- マウント・ターゲット: 使用するマウント・ターゲット。
- エクスポート・パス: 使用するエクスポート・パス。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
- オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするバケットが含まれるコンパートメントを選択します、
- バケット: 使用するバケットを選択します。
- オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
ノート
カスタム・ネットワークを使用する場合:- VCNにサービス・ゲートウェイを作成します。
- プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
- 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- 保存: ステップを保存する場合に選択します。
「パイプラインの作成」ページが再オープンされ、ステップが追加されます。
データ・フロー・アプリケーション: データ・フロー・アプリケーションからパイプライン・ステップを作成するには、「データ・フロー・アプリケーションから」を選択し、次の情報を入力します。
- ステップ名: 一意のステップ名を入力します。パイプラインでステップ名を繰り返すことはできません。
- ステップの説明(オプション): ステップの依存関係の検索に役立つステップの説明を入力します。
- 依存(オプション): このステップが別のステップに依存する場合は、このステップより前に実行するステップを1つ以上選択します。
- データフロー・アプリケーション・コンパートメントを選択します
- データフロー・アプリケーションを選択します
- パラメータ(オプション):ノート
このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:{ "message":"Hello John!", "ocpu": 2, "memory": 10 }- カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数。
- 値(オプション): キーの値。
- コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
- 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
- データ・フロー構成: 「構成」を選択して「データ・フロー構成の構成」パネルを開き、次の情報を入力します。
- ドライバ・シェイプ
- ドライバOCPU
- ドライバ・メモリー(GB)
- エグゼキュータ・シェイプ
- エグゼキュータOCPU
- エグゼキュータ・メモリー(GB)
- エグゼキュータの数
- バケット・パスを手動で入力します
- ログ・バケットURI
- オブジェクト・ストレージ・バケット名コンパートメント
- オブジェクト・ストレージ・バケット名
- キー
- 値
- ウェアハウス・バケットURI
- 構成: 入力した情報を保存し、「パイプライン・ステップの追加」ページに戻る場合に選択します。
- 保存: ステップを保存する場合に選択します。
「パイプラインの作成」ページが再オープンされ、ステップが追加されます。
- パラメータ(オプション):ノート
このステップでは、指定されたファイル(/home/datascience/output.jsonなど)に、指定された変数を定義する有効なJSONが移入されていることを確認する必要があります。例:{ "message":"Hello John!", "ocpu": 2, "memory": 10 }- カスタム環境変数キー(オプション): このパイプライン・ステップの環境変数。
- 値(オプション): キーの値。
- コマンドライン引数(オプション): パイプライン・ステップの実行に使用するコマンドライン引数を入力します。
- 最大ランタイム(分)(オプション): パイプライン・ステップの実行が許可される最大分数。サービスは、パイプラインの実行時間が指定された値を超えた場合にパイプライン実行を取り消します。最大実行時間は30日(43,200分)です。ランナウェイ・パイプライン実行を防ぐために、すべてのパイプライン実行で最大ランタイムを構成することをお薦めします。
- カスタム・パラメータ・キー
- 値
- コンピュート・シェイプを変更するには、「シェイプの変更」を選択します。次に、「コンピュート・シェイプの選択」パネルの次のステップに従います。ノート
AMDシェイプの場合は、デフォルトを使用するか、OCPUおよびメモリーの数を設定できます。- インスタンス・タイプの選択
- シェイプ・シリーズを選択します。
- サポートされているシリーズ内のコンピュート・シェイプのいずれかを選択します。リソースの使用方法に最適なシェイプを選択します。
- 選択したシェイプを展開して、OCPUおよびメモリーを構成します。
- OCPUの数
- メモリー量(GB): OCPUごとに、最大64 GBのメモリーと最大合計512 GBを選択します。許容されるメモリーの最小容量は、1GBまたはOCPUの数に一致する値のいずれか大きい方です。
- バースト可能なシェイプの有効化: バースト可能な仮想マシンを使用する場合に選択し、「OCPU当たりのベースライン使用率」で、通常使用するOCPUの割合を選択します。サポートされている値は、12.5%および50%です。(モデル・デプロイメントでは、50%の値のみがサポートされます。)
- 「シェイプの選択」を選択します。
- パラメータ化されたコンピュート・シェイプ
- パラメータ化されたシェイプ
- パラメータ化されたOcpu
- パラメータ化されたMemoryInGBs
- ブロック・ストレージ: 50 GBから10、240 GB (10 TB)までの間に使用するストレージの量を入力します。値は1GB単位で変更できます。デフォルト値は100 GBです。
- ネットワーキング・リソース: 関連するオプションを選択します。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
パブリック・インターネットおよびOCIサービスのみにアクセスする必要がある場合は、このオプションを使用することをお薦めします。ネットワーキング・リソースを作成したり、ネットワーキング権限のポリシーを記述する必要はありません。
- インターネットを使用したデフォルト・ネットワーキング: データ・サイエンスNATゲートウェイを介したアウトバウンド・インターネット・アクセスを許可します。ノート
切断されたレルムおよびOracle開発テナンシでは、インターネットを使用するデフォルト・ネットワーキングを使用できません。テナンシまたはコンパートメントに、パブリック・ネットワーク・アクセスを拒否するデータ・サイエンス・セキュリティ・ゾーン・ポリシー(たとえば、deny model_deploy_public_network- データ・サイエンス・セキュリティ・ゾーン・ポリシーを参照)がある場合、サービス管理のパブリック・インターネット・アクセス・オプションは無効になります。このオプションを使用しようとすると、404NotAuthorizedOrNotFoundエラーが表示されます。 - Custom Networking: 使用するVCNおよびサブネット(コンパートメント別)を選択します。
パブリック・インターネットへのエグレス・アクセスには、NATゲートウェイへのルートを持つプライベート・サブネットを使用します。
ノート
- ファイル・ストレージ・マウントを使用するには、カスタム・ネットワークを使用する必要があります。
- カスタム・ネットワーキングから管理対象ネットワーキングへの切替えは、作成後はサポートされません。
- バナー
The specified subnet is not accessible. Select a different subnet.が表示された場合は、データ・サイエンスでカスタム・ネットワーキングを使用できるようにするポリシーを作成します。ポリシーを参照してください。
- デフォルト・ネットワーキング: トラフィックをOracleサービスのみに制限します。システムは、既存のサービス管理ネットワークを使用します。ワークロードは、セカンダリVNICを使用して、事前構成済のサービス管理型のVCNおよびサブネットにアタッチされます。提供されているこのサブネットにより、NATゲートウェイを介したパブリック・インターネットへのエグレスおよびサービス・ゲートウェイを介した他のOracle Cloudサービスへのアクセスが許可されます。
- ロギングの有効化(オプション): ログ・メッセージ。
- ログ・グループ・コンパートメント: ログ・グループを含むコンパートメントを選択します。
- ログ・グループ: ログのグループを選択します。
- ストレージ・マウント(オプション):
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするターゲットを含むコンパートメントを選択します。
- マウント・ターゲット: 使用するマウント・ターゲット。
- エクスポート・パス: 使用するエクスポート・パス。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
- オブジェクト・ストレージ・マウント(オプション): 「オブジェクト・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- コンパートメント: マウントするバケットが含まれるコンパートメントを選択してください。
- バケット: 使用するバケットを選択します。
- オブジェクト名接頭辞(オプション): オブジェクト名接頭辞。接頭辞は英数字で始める必要があります。使用できる文字は、英数字、スラッシュ( / )、ハイフン( - )およびアンダースコア( _ )です。
- 宛先パスおよびディレクトリ: 記憶域のマウントに使用するパスを入力します。
パスは英数字で始める必要があります。宛先ディレクトリは、指定されたストレージ・マウント全体で一意である必要があります。使用できる文字は、英数字、ハイフン( - )およびアンダースコア( _ )です。
フル・パス(
/opc/storage-directoryなど)を指定できます。/storage-directoryなどのディレクトリのみが指定されている場合は、デフォルトの/mntディレクトリにマウントされます。OS固有のディレクトリ(/binや/etcなど)は指定できません。
ノート
カスタム・ネットワークを使用する場合:- VCNにサービス・ゲートウェイを作成します。
- プライベート・サブネットのルート表構成の場合は、サービス・ゲートウェイを追加します。
- 必要なサブネットのセキュリティ・リストのエグレス・ルールを変更して、ネットワーク内のすべてのサービスへのトラフィックを許可します。
- ファイル・ストレージ・マウント(オプション): 「ファイル・ストレージ・マウントの追加」を選択し、次の情報を入力します。
- タグ(「拡張オプション」の下): パイプラインにタグを追加します。リソースを作成するアクセス許可がある場合、そのリソースにフリーフォーム・タグを適用するアクセス許可もあります。定義済タグを適用するには、タグネームスペースを使用する権限を持つ必要があります。タグ付けの詳細は、リソース・タグを参照してください。 タグを適用するかどうかわからない場合は、このオプションをスキップするか、管理者に問い合せてください。後でタグを適用できます。
-
「作成」を選択します。
パイプラインがアクティブ状態になったら、パイプライン実行を使用してパイプラインを繰り返し実行できます。
これらの環境変数は、パイプライン実行を制御します。
OCI CLIを使用して、このPythonの例のようにパイプラインを作成できます:
-
パイプラインの作成:
ペイロードで使用できるパラメータは次のとおりです。
パラメータ名 必須 説明 パイプライン(最上位レベル) projectId必須 パイプラインを作成するプロジェクトOCID。 compartmentId必須 パイプラインを作成するコンパートメントOCID。 displayNameオプション パイプラインの名前。 infrastructureConfigurationDetailsオプション すべてのパイプライン・ステップに使用するデフォルト・インフラストラクチャ(コンピュート)構成。サポートされているパラメータの詳細は、
infrastructureConfigurationDetailsを参照してください。パイプライン実行構成によってオーバーライドできます。
logConfigurationDetailsオプション すべてのパイプライン・ステップに使用するデフォルト・ログ。サポートされているパラメータの詳細は、
logConfigurationDetailsを参照してください。パイプライン実行構成によってオーバーライドできます。
configurationDetailsオプション パイプライン実行のデフォルト構成。サポートされているパラメータの詳細は、
configurationDetailsを参照してください。パイプライン実行構成によってオーバーライドできます。
freeformTagsオプション パイプライン・リソースに追加するタグ。 stepDetailsstepName必須 ステップの名前。パイプラインで一意である必要があります。 descriptionオプション ステップのフリー・テキストの説明。 stepType必須 CUSTOM_SCRIPTまたはML_JOBjobId必須* ML_JOBステップの場合、これはステップ実行に使用するジョブOCIDです。stepInfrastructureConfigurationDetailsオプション* このステップで使用するデフォルト・インフラストラクチャ(コンピュート)構成。サポートされているパラメータの詳細は、
infrastructureConfigurationDetailsを参照してください。パイプライン実行構成によってオーバーライドできます。
*少なくとも1つのレベル(優先度に基づく優先度、1が最も高いレベル)で定義する必要があります。
1つのパイプライン実行または
2ステップまたは
3 パイプライン
stepConfigurationDetailsオプション* ステップ実行のデフォルト構成。サポートされているパラメータの詳細は、
configurationDetailsを参照してください。パイプライン実行構成によってオーバーライドできます。
*少なくとも1つのレベル(優先度に基づく優先度、1が最も高いレベル)で定義する必要があります。
1つのパイプライン実行または
2ステップまたは
3 パイプライン
dependsOnオプション このステップを開始する前に完了する必要があるステップのリスト。これにより、パイプライン・ワークフロー依存性グラフが作成されます。 infrastructureConfigurationDetailsshapeName必須 使用するコンピュート・シェイプの名前。たとえば、VM.Standard2.4です。 blockStorageSizeInGBs必須 VMのアタッチされたストレージとして使用するGBの数。 logConfigurationDetailsenableLogging必須 ロギングを使用するように定義します。 logGroupId必須 ログに使用するログ・グループOCID。ログ・グループが作成され、パイプラインの実行時に使用可能である必要があります logIdオプション* enableAutoLogCreationパラメータを使用しない場合にログに使用するログOCID。enableAutoLogCreationオプション Trueに設定すると、各パイプライン実行のログが作成されます。configurationDetailstype必須 DEFAULTのみサポートされます。maximumRuntimeInMinutesオプション パイプラインの実行時間制限(分)。 environmentVariablesオプション パイプライン・ステップ実行に提供する環境変数。
例:
"environmentVariables": { "CONDA_ENV_TYPE": "service" }サービスでサポートされている環境変数のリストを確認します。
pipeline_payload = { "projectId": "<project_id>", "compartmentId": "<compartment_id>", "displayName": "<pipeline_name>", "pipelineInfrastructureConfigurationDetails": { "shapeName": "VM.Standard2.1", "blockStorageSizeInGBs": "50" }, "pipelineLogConfigurationDetails": { "enableLogging": True, "logGroupId": "<log_group_id>", "logId": "<log_id>" }, "pipelineDefaultConfigurationDetails": { "type": "DEFAULT", "maximumRuntimeInMinutes": 30, "environmentVariables": { "CONDA_ENV_TYPE": "service", "CONDA_ENV_SLUG": "classic_cpu" } }, "stepDetails": [ { "stepName": "preprocess", "description": "Preprocess step", "stepType": "CUSTOM_SCRIPT", "stepInfrastructureConfigurationDetails": { "shapeName": "VM.Standard2.4", "blockStorageSizeInGBs": "100" }, "stepConfigurationDetails": { "type": "DEFAULT", "maximumRuntimeInMinutes": 90 "environmentVariables": { "STEP_RUN_ENTRYPOINT": "preprocess.py", "CONDA_ENV_TYPE": "service", "CONDA_ENV_SLUG": "onnx110_p37_cpu_v1" } }, { "stepName": "postprocess", "description": "Postprocess step", "stepType": "CUSTOM_SCRIPT", "stepInfrastructureConfigurationDetails": { "shapeName": "VM.Standard2.1", "blockStorageSizeInGBs": "80" }, "stepConfigurationDetails": { "type": "DEFAULT", "maximumRuntimeInMinutes": 60 }, "dependsOn": ["preprocess"] }, ], "freeformTags": { "freeTags": "cost center" } } pipeline_res = dsc.create_pipeline(pipeline_payload) pipeline_id = pipeline_res.data.idすべてのパイプライン・ステップ・アーティファクトがアップロードされるまで、パイプラインは
CREATING状態になります。 -
ステップ・アーティファクトのアップロード:
アーティファクトは、アップロード後に変更できません。
fstream = open(<file_name>, "rb") dsc.create_step_artifact(pipeline_id, step_name, fstream, content_disposition=f"attachment; filename={<file_name>}") -
パイプラインの更新:
パイプラインを更新できるのは、
ACTIVE状態の場合のみです。update_pipeline_details = { "displayName": "pipeline-updated" } self.dsc.update_pipeline(<pipeline_id>, <update_pipeline_details>) -
パイプライン実行の開始:
pipeline_run_payload = { "projectId": project_id, "displayName": "pipeline-run", "pipelineId": <pipeline_id>, "compartmentId": <compartment_id>, } dsc.create_pipeline_run(pipeline_run_payload)
-
パイプラインの作成:
ADS SDKは、次のコマンドを使用してインストールできる、パブリックに使用可能なPythonライブラリでもあります:
pip install oracle-adsADS SDKを使用してパイプラインを作成および実行できます。
APIを使用したカスタム・ネットワーキングによるパイプラインの作成
パイプラインの作成時にカスタム・ネットワーキングを選択できます。パイプラインですでに作成したカスタム・ネットワークを使用して、ネットワークの柔軟性を高めます。
パイプライン・レベルでカスタム・サブネットを使用するには、infrastructure-configuration-detailsにsubnet-idを指定します。例:
"infrastructure-configuration-details": {
"block-storage-size-in-gbs": 50,
"shape-config-details": {
"memory-in-gbs": 16.0,
"ocpus": 1.0
},
"shape-name": "VM.Standard.E4.Flex",
"subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
}または、step-container-configuration-detailsで、特定のステップにカスタム・サブネットを使用します。例:
"step-infrastructure-configuration-details": {
"block-storage-size-in-gbs": 50,
"shape-config-details": {
"memory-in-gbs": 16.0,
"ocpus": 1.0
},
"shape-name": "VM.Standard.E4.Flex",
"subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
},