部署藍圖

請確定您具備 OCI 租用戶的存取權，而且您具備提供足夠 CPU/GPU 執行處理的管理員權限。

1. 使用下方的 Terraform 模組安裝 OKE 叢集。將會使用 6 個工作節點建立具有單一節點集區的 OKE 叢集。
   1. 按一下下方的部署到 Oracle Cloud 。

      

      如果您尚未登入，請輸入租用戶和使用者證明資料。

   2. 為您的堆疊提供 name (例如 oke-stack)。
   3. 選取您要部署 OCI AI 藍圖的區間。
   4. 根據您的偏好設定提供任何其他參數 (例如節點大小、節點數目)。
   5. 依序按一下下一步、建立，最後按一下執行套用以啟動設定叢集。
2. 登入 Oracle Cloud Infrastructure 主控台，然後從首頁按一下儲存，然後在物件儲存底下按一下儲存桶。提供您將在 OCI AI 藍圖部署中使用的儲存桶名稱。

   按一下您建立的儲存桶，然後按一下資源底下的預先認證要求 (PAR) 連結。提供 PAR 的名稱，將存取類型變更為允許物件讀取和寫入，然後按一下預先認證要求。完成時，請複製 PAR URL 並儲存到某個位置，因為您部署「CPU 推論」藍圖時會需要它。

3. 在新的 OKE 叢集中安裝 OCI AI Blueprints。成功部署後，您將擁有可存取 OCI AI Blueprints 主控台的 URL。

   

4. 在 OCI AI Blueprints 主頁面中，藍圖二進位檔底下有數個可供部署的藍圖，向下捲動並按一下 CPU 推論下的部署。
   1. 選取 CPU 推斷和 VM-Standard.E4。Flex 選項。

      使用預設參數並變更上面建立的預先認證要求 URL。請勿變更設定參數段落中的任何值。

      請注意參數：

      "recipe_container_env": [
      {
      
      "key": "MODEL_NAME",
      
      "value": "mistral"
      
      },
      
      {
      
      "key": "PROMPT",
      
      "value": "What is the capital of Spain?"
      
      }
      

      成功部署 CPU 推論藍圖之後，上述提示的輸出將顯示在 Kubernetes Pod 日誌中。

   2. 按一下部署藍圖。順利部署藍圖之後，您會發現一個名稱 (例如 cpu 推論錯誤 E4Flex)，其中列出建置狀態監控、建立日期以及節點數目和 E4 資源配置。
   3. 在「建置」清單中，按一下 cpu 推論錯誤 E4Flex 連結，此連結將帶您前往公用端點的建置詳細資訊。按一下公用端點，您會看到像是「ollama 正在執行」的訊息。
   4. 返回 cpu 推論錯誤 E4Flex 頁面，然後向下捲動至 Pod 日誌。按一下檢視和日誌詳細資訊。系統會顯示類似下面的頁面，並為您提供輸出。