Nota

Usa un assistente AI con Oracle Cloud Native Environment

Introduzione

L'Assistente AI di Oracle Cloud Native Environment (Oracle CNE) è un plugin fornito con l'interfaccia utente (UI) di Oracle CNE. AI Assistant aiuta gli utenti a gestire e ottenere insight sullo stato del loro cluster Kubernetes utilizzando il linguaggio naturale (attualmente solo l'inglese). È dipendente dal contesto, il che significa che le sue risposte sono pertinenti allo stato del cluster e alla posizione all'interno dell'interfaccia utente di Oracle CNE quando si avvia un'interazione con l'Assistente AI. Ad esempio, se un utente non è sicuro del numero di nodi nel cluster, chiedere all'Assistente AI, "Quanti nodi si trovano nel cluster?" e confermerà il numero di nodi nel cluster. È possibile inviare ulteriori prompt, consentendo all'utente di avviare un flusso di conversazione con l'Assistente AI. Le funzioni principali fornite dall'Assistente AI includono:

Questa esercitazione descrive come configurare il plugin AI Assistant, incluso nell'interfaccia utente di Oracle CNE con un'istanza AI in hosting locale (Ollama).

Obiettivi

In questo tutorial imparerai:

Prerequisiti

Distribuire Oracle Cloud Native Environment

Nota: se è in esecuzione nella propria tenancy, leggere il progetto linux-virt-labs GitHub README.md e completare i prerequisiti prima di distribuire l'ambiente di laboratorio.

  1. Aprire un terminale sul Luna Desktop.

  2. Duplicare il progetto linux-virt-labs GitHub.

    git clone https://github.com/oracle-devrel/linux-virt-labs.git

  3. Passare alla directory di lavoro.

    cd linux-virt-labs/ocne2

  4. Installare le raccolte richieste.

    ansible-galaxy collection install -r requirements.yml

  5. Implementare l'ambiente di laboratorio.

    ansible-playbook create_instance.yml -e localhost_python_interpreter="/usr/bin/python3.6" -e install_ocne_rpm=true -e create_ocne_cluster=true -e "ocne_cluster_node_options='-n 1 -w 1'"

    L'ambiente di esercitazione pratica gratuito richiede l'aggiunta della variabile local_python_interpreter, che imposta ansible_python_interpreter per le riproduzioni eseguite su localhost. Questa variabile è necessaria perché l'ambiente installa il pacchetto RPM per l'SDK Oracle Cloud Infrastructure per Python, che si trova sotto i moduli python3.6.

    La forma di distribuzione predefinita utilizza la CPU AMD e Oracle Linux 8. Per utilizzare una CPU Intel o Oracle Linux 9, aggiungere -e instance_shape="VM.Standard3.Flex" o -e os_version="9" al comando di distribuzione.

    Importante: attendere che il playbook venga eseguito correttamente e raggiungere il task di sospensione. In questa fase del playbook, l'installazione di Oracle Cloud Native Environment è completa e le istanze sono pronte. Prendi nota del gioco precedente, che stampa gli indirizzi IP pubblici e privati dei nodi che distribuisce e qualsiasi altra informazione di distribuzione necessaria durante l'esecuzione del laboratorio.

Confermare il numero di nodi

Consente di conoscere il numero e i nomi dei nodi nel cluster Kubernetes.

  1. Aprire un terminale e connettersi tramite SSH all'istanza ocne.

    ssh oracle@<ip_address_of_node>

  2. Elenca i nodi nel cluster.

    kubectl get nodes

    L'output mostra il piano di controllo e i nodi di lavoro in uno stato Ready, insieme alla versione Kubernetes corrente.

Crea un token di accesso

Oracle Cloud Native Environment distribuisce l'interfaccia utente nel cluster Kubernetes utilizzando una distribuzione e un servizio denominati UI, che verranno utilizzati per accedervi. Sia la distribuzione che il servizio vengono distribuiti nello spazio di nomi ocne-system. Per connettersi al servizio, è necessario generare un token di accesso.

  1. Generare un token di accedere.

    kubectl --namespace ocne-system create token ui

    Output di esempio:

    > [oracle@ocne ~]$ kubectl --namespace ocne-system create token ui
> eyJhbGciOiJSUzI1NiIsImtpZCI6IjhfRWczUG13VWRfWjFkWDIxdkp6UUZlRzEwU2QxaExkbm9TME1CcS1rVFEifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNzI4Mzg3MTgwLCJpYXQiOjE3MjgzODM1ODAsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwianRpIjoiYzlmMWViZTctYzA1ZC00MTYxLTg2MzctOWNiZGFlNTI5MzFiIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJvY25lLXN5c3RlbSIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJ1aSIsInVpZCI6IjdjY2RjZGZlLTAzNzMtNGUwZS1hMzViLTc5MzdhM2NiZmYzMyJ9fSwibmJmIjoxNzI4MzgzNTgwLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6b2NuZS1zeXN0ZW06dWkifQ.WSLZFste1ggkE2GtjJ2cBrORNFgCzHOlALNXD_-6vLA9kIiDJHp44HshUcXvUFH1XdFM1SGbiCvITOwT8Y5_93IKVZLu1NRyGPZlo5l4JqwnJtqLn7J6e39OlC2SXqex6vLBCU-sBqiw_P9xksNa7fO_MzsryEo-5oMgsVVo9oJr9wv4LYLv2Obd8U5ukKjBeiRiwTu9MTK0r_GlhmZ9d7GHrYrgF1MJGMgzvqyTyviyIynD2F0OkKARIThghpEL6aou4F_DFFMy8t0qjiJG3rBTXL6fXxZ-3WxZUGdx920ZSHcqG2XOaLY7txRkKYbudIjyt-gODeR-FZCIthw5kw
>

    Il token visualizzato verrà utilizzato per l'autenticazione quando ci si connette all'interfaccia utente.

Creare una porta in avanti per esporre l'interfaccia utente

Il port-forwarding fornisce un modo semplice e rapido per esporre il servizio dell'interfaccia utente sul sistema locale in modo da poterlo utilizzare per monitorare, risolvere i problemi e, se necessario, eseguire il debug dell'ambiente di sviluppo.

Importante: Oracle sconsiglia di utilizzare l'inoltro delle porte per esporre l'interfaccia utente per un ambiente di produzione.

  1. Impostare l'inoltro della porta.

    kubectl port-forward --namespace ocne-system service/ui 8443:443

    Output di esempio:

    > [oracle@ocne ~]$ kubectl port-forward --namespace ocne-system service/ui 8443:443
> Forwarding from 127.0.0.1:8443 -> 4466
> Forwarding from [::1]:8443 -> 4466
>

    Nota: il comando kubectl port-forward continuerà a essere eseguito in primo piano. Lascia che continui mentre accedi all'interfaccia utente.

Installa Ollama

  1. Aprire un nuovo terminale e connettersi tramite SSH all'istanza ocne.

    ssh oracle@<ip_address_of_node>

  2. Installa una dipendenza richiesta.

    sudo dnf install -y zstd

  3. Installare Ollama.

    curl -fsSL https://ollama.com/install.sh | sh

  4. Eseguire un modello.

    ollama run llama3.2

  5. Aprire un nuovo terminale e creare un tunnel SSH.

    ssh -L 11434:127.0.0.1:11434 -L 9898:127.0.0.1:8443 oracle@<ip_address_of_node>

    Il tunnel consente l'accesso da un browser nel sistema locale a una determinata porta al sistema remoto che esegue il cluster Kubernetes. Non è necessario generare un tunnel se entrambi si trovano nello stesso sistema. Quando si esegue sullo stesso sistema, è possibile accedere all'interfaccia utente utilizzando https://127.0.0.1:8443 e Ollama utilizzando http://127.0.0.1:11434.

  6. Aprire un browser sul desktop Luna e immettere l'URL per confermare l'esecuzione di Ollama.

    http://127.0.0.1:11434

    Il browser dovrebbe visualizzare un messaggio di testo simile a questo: Ollama is running.

Login all'interfaccia utente

  1. Aprire un browser sul desktop Luna e immettere l'URL.

    https://127.0.0.1:9898

    Approva l'avvertenza di sicurezza in base al browser utilizzato. Per Chrome, fare clic sul pulsante Advanced, quindi sul collegamento Accept the Risk and Continue.

  2. Immettere il token d'accesso.

    Immettere il token di accesso creato in precedenza e fare clic sul collegamento Authenticate.

    ocne-ui-login

  3. Viene visualizzata la pagina Panoramica interfaccia utente.

    ocne-ui-webui

    Fare clic sul pulsante Apri impostazioni nella finestra popup denominata Configura assistente AI.

    Nota: è possibile che alcune avvertenze siano elencate nella sezione Evento della pagina di arrivo. Questo comportamento è normale e si risolverà dopo pochi minuti.

  4. Viene visualizzata la pagina di configurazione ai-assistant nella sezione Impostazioni.

ocne-ui-webui

Nota: deselezionare il pulsante Richiesta API Kubernetes nella sezione Strumenti AI.

Configurare un provider locale.

  1. Fare clic sul pulsante Add Provider.

    ocne-ui-webui

  2. Confermare la finestra di dialogo 'Termini e informazioni importanti'.

    ocne-ui-login

  3. Fare clic sull'opzione di menu Cluster e quindi sul collegamento Local Models.

    ocne-ui-login

    Nota: immettere i dettagli corretti per il modello di Ollama locale in uso. Questo esempio mostra il modello llama3.2 impostato in precedenza.

  4. Fare clic su Save per salvare le impostazioni del provider.

    L'Assistente AI è ora configurato e pronto per essere utilizzato.

Confermare il funzionamento dell'assistente AI.

  1. Fare clic sulla voce di menu denominata Cluster e su 'Nodi' per accedere alla pagina Nodi.

    ocne-ui-login

  2. Fare clic sul pulsante AI Assistant situato nella parte superiore destra della schermata principale.

    ocne-ui-login

  3. Viene visualizzata la finestra di AI Assistant.

    ocne-ui-login

  4. Fare clic sulla casella di riepilogo a discesa per modificare il modello dall'opzione predefinita (llama2) al modello locale appena configurato (llama3.2).

    ocne-ui-login

  5. Fare all'Assistente AI una domanda nella casella di testo denominata 'Chiedi AI'.

    Incollare questo esempio nella casella di testo denominata Chiedi AI.

    How many nodes are present?

  6. Fare clic sul pulsante Invia per sottomettere la domanda.

    ocne-ui-login

    Nota: il tempo impiegato dall'Assistente AI per rispondere dipende da diversi fattori, ad esempio le risorse disponibili per il modello LLM configurato e la complessità della domanda posta.

  7. L'Assistente AI restituisce una risposta.

    ocne-ui-login

    Nota: la formulazione esatta utilizzata nella risposta può variare leggermente tra le richieste.

  8. Ciò conferma che l'Assistente AI sta funzionando.

Passi successivi

Attraverso questi passaggi, ora sai come abilitare l'accesso all'interfaccia utente (UI) di Oracle Cloud Native Environment e configurarla per utilizzare un LLM. Puoi esplorare le sue numerose caratteristiche e funzionalità, che tratteremo in futuri tutorial.

Altre risorse di apprendimento

Esplora altri laboratori su docs.oracle.com/learn o accedi a più contenuti di formazione gratuiti sul canale YouTube di Oracle Learning. Inoltre, visitare education.oracle.com/learning-explorer per diventare Oracle Learning Explorer.

Per la documentazione del prodotto, visitare Oracle Help Center.