搭配 Oracle Cloud Native Environment 使用 AI Assistant

簡介

Oracle Cloud Native Environment (Oracle CNE) AI Assistant 是 Oracle CNE User Interface (UI) 所提供的外掛程式。AI Assistant 可協助使用者使用自然語言 (目前只有英文) 管理並深入瞭解 Kubernetes 叢集的狀態。它具有情境感知功能，意味著它在與 AI Assistant 開始互動時，與叢集狀態和 Oracle CNE UI 中的位置有關。例如，如果使用者不確定叢集中的節點數目，請詢問 AI Assistant 我的叢集中有多少節點？，然後確認叢集中的節點數目。可以張貼進一步的提示，讓使用者能夠使用 AI Assistant 開始對話流程。AI Assistant 提供的主要功能包括：

對話式 Kubernetes 體驗：可讓技術熟練和新手使用者以對話方式使用自然語言與叢集互動，以張貼有關叢集的問題，而無須具備 Kubernetes 的廣泛知識。
感知情境支援： AI Assistant 會知道使用者在張貼要求時所檢視的內容，並提供適合此開始內容的回應。
多重提供者支援： AI 輔助程式支援多個 AI 提供者 (如需詳細資訊，請參閱上游 )。

注意： 您必須提供自己的 API 金鑰，才能存取選擇的提供者。
可設定的工具：可設定為使用 Kubernetes API 來查詢叢集資訊。
資源產生：使用者可以要求 AI 助理產生 Kubernetes YAML。
深入分析：協助使用者管理叢集。例如，透過診斷問題、收集和解譯日誌等。

本教學課程示範如何使用本機代管的 AI 執行處理 (Ollama)，設定 Oracle CNE UI 中包含的 AI 助理 Plugin。

目標

在本教學課程中，您將學習到：

如何設定及使用 Oracle CNE UI 隨附的 AI Assistant。

必要條件

Oracle Cloud Native Environment 的安裝

部署 Oracle Cloud 原生環境

注意：如果是在您自己的租用戶中執行，請先閱讀 linux-virt-labs GitHub 專案 README.md 並完成先決條件，再部署實驗環境環境。

在 Luna Desktop 上開啟終端機。

複製 linux-virt-labs GitHub 專案。

git clone https://github.com/oracle-devrel/linux-virt-labs.git

變更至工作目錄。
```
cd linux-virt-labs/ocne2
```

安裝必要的集合。

ansible-galaxy collection install -r requirements.yml

部署實驗環境環境。
```
ansible-playbook create_instance.yml -e localhost_python_interpreter="/usr/bin/python3.6" -e install_ocne_rpm=true -e create_ocne_cluster=true -e "ocne_cluster_node_options='-n 1 -w 1'"
```
自由實驗環境環境需要額外的變數 local_python_interpreter，此變數會設定在 localhost 上執行的播放 ansible_python_interpreter。此變數是必要的，因為環境會為 Python 適用的 Oracle Cloud Infrastructure SDK 安裝 RPM 套件 (位於 python3.6 模組底下)。

預設部署資源配置使用 AMD CPU 和 Oracle Linux 8。若要使用 Intel CPU 或 Oracle Linux 9，請在部署命令中新增 -e instance_shape="VM.Standard3.Flex" 或 -e os_version="9"。

重要事項： 請等待播放手冊順利執行，然後到達暫停工作。在手冊的這個階段，Oracle Cloud Native Environment 的安裝已完成，實例已準備就緒。記下先前的播放，此播放會列印其部署節點的公用和專用 IP 位址，以及執行實驗室時所需的任何其他部署資訊。

確認節點數目

這有助於瞭解 Kubernetes 叢集中的節點數目和名稱。

開啟終端機，並透過 SSH 連線至 ocne 執行處理。
```
ssh oracle@<ip_address_of_node>
```
列出叢集中的節點。
```
kubectl get nodes
```
輸出顯示 Ready 狀態的控制層和工作節點，以及其目前的 Kubernetes 版本。

建立存取權杖

Oracle Cloud Native Environment 會使用名為 UI 的部署與服務，將 UI 部署到 Kubernetes 叢集，供您存取。部署與服務都部署到 ocne-system 命名空間中。若要連線至服務，您必須產生存取權杖。

產生存取記號。

kubectl --namespace ocne-system create token ui

輸出範例：

> [oracle@ocne ~]$ kubectl --namespace ocne-system create token ui
> eyJhbGciOiJSUzI1NiIsImtpZCI6IjhfRWczUG13VWRfWjFkWDIxdkp6UUZlRzEwU2QxaExkbm9TME1CcS1rVFEifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNzI4Mzg3MTgwLCJpYXQiOjE3MjgzODM1ODAsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwianRpIjoiYzlmMWViZTctYzA1ZC00MTYxLTg2MzctOWNiZGFlNTI5MzFiIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJvY25lLXN5c3RlbSIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJ1aSIsInVpZCI6IjdjY2RjZGZlLTAzNzMtNGUwZS1hMzViLTc5MzdhM2NiZmYzMyJ9fSwibmJmIjoxNzI4MzgzNTgwLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6b2NuZS1zeXN0ZW06dWkifQ.WSLZFste1ggkE2GtjJ2cBrORNFgCzHOlALNXD_-6vLA9kIiDJHp44HshUcXvUFH1XdFM1SGbiCvITOwT8Y5_93IKVZLu1NRyGPZlo5l4JqwnJtqLn7J6e39OlC2SXqex6vLBCU-sBqiw_P9xksNa7fO_MzsryEo-5oMgsVVo9oJr9wv4LYLv2Obd8U5ukKjBeiRiwTu9MTK0r_GlhmZ9d7GHrYrgF1MJGMgzvqyTyviyIynD2F0OkKARIThghpEL6aou4F_DFFMy8t0qjiJG3rBTXL6fXxZ-3WxZUGdx920ZSHcqG2XOaLY7txRkKYbudIjyt-gODeR-FZCIthw5kw
>

當您連線至 UI 時，將會使用顯示的權杖進行認證。

建立連接埠轉送以顯示 UI

連接埠轉送提供在本機系統上顯示 UI 服務的快速簡便方式，讓您可以用它來監督、疑難排解及除錯開發環境。

重要事項：Oracle 不建議使用連接埠轉送來顯示生產環境的 UI。

設定連接埠轉送。

kubectl port-forward --namespace ocne-system service/ui 8443:443

輸出範例：

> [oracle@ocne ~]$ kubectl port-forward --namespace ocne-system service/ui 8443:443
> Forwarding from 127.0.0.1:8443 -> 4466
> Forwarding from [::1]:8443 -> 4466
>

注意：kubectl port-forward 命令將繼續在前景執行。讓它在您存取 UI 時繼續。

安裝 Ollama

開啟新的終端機，並透過 SSH 連線至 ocne 執行處理。
```
ssh oracle@<ip_address_of_node>
```
安裝必要的相依性。
```
sudo dnf install -y zstd
```

安裝 Ollama。

curl -fsSL https://ollama.com/install.sh | sh

執行模型。
```
ollama run llama3.2
```
開啟新終端機並建立 SSH 通道。
```
ssh -L 11434:127.0.0.1:11434 -L 9898:127.0.0.1:8443 oracle@<ip_address_of_node>
```
通道可讓您從本機系統上的瀏覽器，存取執行 Kubernetes 叢集之遠端系統的指定連接埠。如果兩個通道都在同一個系統上，您就不需要產生通道。在同一個系統上執行時，您可以使用 https://127.0.0.1:8443 和 Ollama，使用 http://127.0.0.1:11434 存取 UI。
在 Luna Desktop 開啟瀏覽器，然後輸入 URL 以確認 Ollama 正在執行中。
```
http://127.0.0.1:11434
```
瀏覽器應該顯示類似以下的文字訊息：Ollama is running.

登入 UI 身分

在 Luna Desktop 開啟瀏覽器，然後輸入 URL。
```
https://127.0.0.1:9898
```
根據使用的瀏覽器核准安全性警告。對於 Chrome，按一下 Advanced 按鈕，然後按一下 Accept the Risk and Continue 連結。
輸入存取記號。

輸入您先前建立的存取權杖，然後按一下 Authenticate 連結。
此時會顯示「UI 總覽」頁面。

按一下設定 AI 助理快顯視窗中的開啟設定值按鈕。

備註：您可能會看到「登陸頁面」的事件區段中所列的一些警告。此行為正常，將在幾分鐘後清除。
這會在設定值段落中開啟防護組態頁面。

備註：取消勾選 AI 工具區段中的 Kubernetes API 要求按鈕。

設定本機提供者。

按一下 Add Provider 按鈕。
確認「條款及重要資訊」對話方塊。
按一下 Cluster 功能表選項，然後按一下 Local Models 連結。

注意：請輸入您目前使用之本機 Ollama 模型的正確詳細資訊。此範例顯示先前設定的 llama3.2 模型。
按一下 Save 按鈕，以儲存提供者設定。

AI Assistant 現在已設定好並可供使用。

確認 AI 助理工作。

按一下名為叢集的功能表項目，然後按一下節點，即可移至節點頁面。
按一下主畫面右上角的 [AI 輔助程式 ] 按鈕。
就會顯示 [AI Assistant] (AI 助理) 視窗。
按一下下拉式清單方塊，將模型從預設選項 (llama2) 變更為新設定的本機模型 ( llama3.2)。
在名為 'Ask AI' 的文字方塊中向 AI Assistant 問個問題。

在名為 Ask AI 的文字方塊中貼上此範例。
```
How many nodes are present?
```
按一下傳送按鈕以提交問題。

備註： AI Assistant 回應所需的時間取決於幾個因素，例如已設定 LLM 模型可用的資源，以及所詢問問題的複雜性。
AI Assistant 會傳回答案。

注意：回覆中使用的確切字詞在要求之間可能會略有不同。
這會確認 AI Assistant 正在運作中。