ブループリントのデプロイ

OCIテナンシへのアクセス権があり、十分なCPU/GPUインスタンスを提供するための管理権限があることを確認してください。

  1. 次のTerraformモジュールを使用してOKEクラスタをインストールします。単一のノード・プールを持つOKEクラスタは、6つのワーカー・ノードを使用して作成されます。
    1. 下の「Oracle Cloudにデプロイ」をクリックします。

      Oracle Cloudへのデプロイ

      サインインしていない場合は、テナンシおよびユーザー資格証明を入力します。

    2. スタックに名前を指定します(たとえば、oke-stack)。
    3. OCI AIブループリントをデプロイするコンパートメントを選択します。
    4. プリファレンスに応じて、追加のパラメータ(ノード・サイズ、ノード数など)を指定します。
    5. 「次へ」、「作成」の順にクリックし、最後に「適用の実行」をクリックしてクラスタをプロビジョニングします。
  2. Oracle Cloud Infrastructureコンソールにサインインし、ホーム・ページで「ストレージ」をクリックし、「オブジェクト・ストレージ」で「バケット」をクリックします。OCI AI Blueprintsデプロイメントで使用するバケット名を指定します。

    作成したバケットをクリックし、「リソース」の下の「事前認証済リクエスト(PAR)」リンクをクリックします。PARに名前を付け、「アクセス・タイプ」を「オブジェクトの読取りおよび書込みを許可」に変更し、「事前認証済リクエスト」をクリックします。完了したら、PAR URLをコピーして、CPU推論ブループリントのデプロイ時に必要な場所に保存します。

  3. 新しいOKEクラスタにOCI AI Blueprintsをインストールします。デプロイメントに成功すると、OCI AIブループリント・コンソールにアクセスするためのURLが表示されます。

    Oracle Cloudへのデプロイ

  4. OCI AIブループリントのメイン・ページでは、「ブループリント・バイナリ」の下にいくつかのブループリントをデプロイでき、下にスクロールして「CPU推論」の下の「デプロイ」をクリックします。
    1. 「CPU Inference with mistral」および「VM-Standard.E4」を選択します。Flexオプション。

      デフォルト・パラメータを使用し、前述の事前認証済リクエストURLを変更します。「パラメータの構成」セクションで値を変更しないでください。

      パラメータに注意してください。 

      "recipe_container_env": [
{

"key": "MODEL_NAME",

"value": "mistral"

},

{

"key": "PROMPT",

"value": "What is the capital of Spain?"

}

      CPU推論ブループリントのデプロイメントに成功すると、前述のプロンプトの出力がKubernetesポッド・ログに表示されます。

    2. 「ブループリントのデプロイ」をクリックします。ブループリントが正常にデプロイされると、cpu inference mistral E4Flexなどの名前が表示され、作成日、ノード数およびE4シェイプを含むモニタリングのデプロイメント・ステータスがリストされます。
    3. 「デプロイメント」リストで、「CPU推論ミスラルE4Flex」リンクをクリックすると、パブリック・エンドポイントとともにデプロイメントの詳細が表示されます。パブリック・エンドポイントをクリックすると、「ollama is running」などのメッセージが表示されます。
    4. 「cpu inference mistral E4Flex」ページに戻り、「Pod logs」まで下にスクロールします。「表示」および「ログ詳細」をクリックします。次のようなページが表示され、出力が示されます。

      ブループリント・ポッド・ログ出力の例を示します。