Note:

Uso de un asistente de IA con Oracle Cloud Native Environment

Introducción

Oracle Cloud Native Environment (Oracle CNE) AI Assistant es un plugin proporcionado con la interfaz de usuario (IU) de Oracle CNE. AI Assistant ayuda a los usuarios a gestionar y obtener información sobre el estado de su cluster de Kubernetes mediante lenguaje natural (actualmente solo en inglés). Es consciente del contexto, lo que significa que sus respuestas son relevantes para el estado del cluster y la ubicación dentro de la interfaz de usuario de Oracle CNE al iniciar una interacción con el asistente de IA. Por ejemplo, si un usuario no está seguro del número de nodos en el cluster, pregunte al asistente de AI "Cuántos Nodos Hay en Mi Cluster" y confirmará el número de nodos en el cluster. Se pueden publicar más peticiones de datos, lo que permite al usuario iniciar un flujo conversacional con el asistente de IA. Las funciones clave proporcionadas por el asistente de IA incluyen:

En este tutorial se muestra cómo configurar el plugin de AI Assistant, incluido en la interfaz de usuario de Oracle CNE con una instancia de AI alojada localmente (Ollama).

Objetivos

En este tutorial, aprenderá lo siguiente:

Requisitos

Despliegue de Oracle Cloud Native Environment

Nota: Si se ejecuta en su propio arrendamiento, lea el proyecto linux-virt-labs GitHub README.md y complete los requisitos antes de desplegar el entorno de prácticas.

  1. Abra un terminal en el escritorio Luna.

  2. Clone el proyecto linux-virt-labs GitHub.

    git clone https://github.com/oracle-devrel/linux-virt-labs.git
  3. Cambie al directorio de trabajo.

    cd linux-virt-labs/ocne2
  4. Instale las recopilaciones necesarias.

    ansible-galaxy collection install -r requirements.yml
  5. Despliegue el entorno de prácticas.

    ansible-playbook create_instance.yml -e localhost_python_interpreter="/usr/bin/python3.6" -e install_ocne_rpm=true -e create_ocne_cluster=true -e "ocne_cluster_node_options='-n 1 -w 1'"

    El entorno de prácticas libres necesita la variable adicional local_python_interpreter, que define ansible_python_interpreter para las reproducciones que se ejecutan en localhost. Esta variable es necesaria porque el entorno instala el paquete de RPM para el SDK para Python de Oracle Cloud Infrastructure, que se encuentra en los módulos python3.6.

    La unidad de despliegue por defecto utiliza la CPU AMD y Oracle Linux 8. Para utilizar una CPU Intel u Oracle Linux 9, agregue -e instance_shape="VM.Standard3.Flex" o -e os_version="9" al comando de despliegue.

    Importante: Espere a que el cuaderno de estrategias se ejecute correctamente y alcance la tarea de pausa. En esta etapa del manual, se ha completado la instalación de Oracle Cloud Native Environment y las instancias están listas. Tome nota de la reproducción anterior, que imprime las direcciones IP públicas y privadas de los nodos que despliega y cualquier otra información de despliegue necesaria al ejecutar el ejercicio práctico.

Confirmar el número de nodos

Ayuda a conocer el número y los nombres de los nodos del cluster de Kubernetes.

  1. Abra un terminal y conéctese mediante SSH a la instancia de ocne.

    ssh oracle@<ip_address_of_node>
  2. Enumere los nodos del cluster.

    kubectl get nodes

    La salida muestra el plano de control y los nodos de trabajador en un estado Ready, junto con su versión actual de Kubernetes.

Creación de un token de acceso

Oracle Cloud Native Environment despliega la interfaz de usuario en el cluster de Kubernetes mediante un despliegue y servicio denominado UI, que utilizará para acceder a él. Tanto el despliegue como el servicio se despliegan en el espacio de nombres ocne-system. Para conectarse al servicio, debe generar un token de acceso.

  1. Generación de un token de acceso.

    kubectl --namespace ocne-system create token ui

    Salida de ejemplo:

    > [oracle@ocne ~]$ kubectl --namespace ocne-system create token ui
    > eyJhbGciOiJSUzI1NiIsImtpZCI6IjhfRWczUG13VWRfWjFkWDIxdkp6UUZlRzEwU2QxaExkbm9TME1CcS1rVFEifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNzI4Mzg3MTgwLCJpYXQiOjE3MjgzODM1ODAsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwianRpIjoiYzlmMWViZTctYzA1ZC00MTYxLTg2MzctOWNiZGFlNTI5MzFiIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJvY25lLXN5c3RlbSIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJ1aSIsInVpZCI6IjdjY2RjZGZlLTAzNzMtNGUwZS1hMzViLTc5MzdhM2NiZmYzMyJ9fSwibmJmIjoxNzI4MzgzNTgwLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6b2NuZS1zeXN0ZW06dWkifQ.WSLZFste1ggkE2GtjJ2cBrORNFgCzHOlALNXD_-6vLA9kIiDJHp44HshUcXvUFH1XdFM1SGbiCvITOwT8Y5_93IKVZLu1NRyGPZlo5l4JqwnJtqLn7J6e39OlC2SXqex6vLBCU-sBqiw_P9xksNa7fO_MzsryEo-5oMgsVVo9oJr9wv4LYLv2Obd8U5ukKjBeiRiwTu9MTK0r_GlhmZ9d7GHrYrgF1MJGMgzvqyTyviyIynD2F0OkKARIThghpEL6aou4F_DFFMy8t0qjiJG3rBTXL6fXxZ-3WxZUGdx920ZSHcqG2XOaLY7txRkKYbudIjyt-gODeR-FZCIthw5kw
    >

    Utilizará el token mostrado para autenticarse al conectarse a la interfaz de usuario.

Creación de un reenvío de puerto para exponer la interfaz de usuario

El reenvío de puertos proporciona una forma rápida y sencilla de exponer el servicio de interfaz de usuario en el sistema local para que pueda utilizarlo para supervisar, solucionar problemas y, si es necesario, depurar el entorno de desarrollo.

Importante: Oracle no recomienda utilizar el reenvío de puertos para exponer la interfaz de usuario para un entorno de producción.

  1. Configure el reenvío del puerto.

    kubectl port-forward --namespace ocne-system service/ui 8443:443

    Salida de ejemplo:

    > [oracle@ocne ~]$ kubectl port-forward --namespace ocne-system service/ui 8443:443
    > Forwarding from 127.0.0.1:8443 -> 4466
    > Forwarding from [::1]:8443 -> 4466
    >

    Nota: El comando kubectl port-forward seguirá ejecutándose en primer plano. Deje que continúe mientras accede a la interfaz de usuario.

Instalar Ollama

  1. Abra un nuevo terminal y conéctese mediante SSH a la instancia de ocne.

    ssh oracle@<ip_address_of_node>
  2. Instale una dependencia necesaria.

    sudo dnf install -y zstd
  3. Instalar Ollama.

    curl -fsSL https://ollama.com/install.sh | sh
  4. Ejecución de un modelo.

    ollama run llama3.2
  5. Abra un nuevo terminal y cree un túnel SSH.

    ssh -L 11434:127.0.0.1:11434 -L 9898:127.0.0.1:8443 oracle@<ip_address_of_node>

    El túnel permite el acceso desde un explorador del sistema local a un puerto determinado del sistema remoto que ejecuta el cluster de Kubernetes. No es necesario generar un túnel si ambos están en el mismo sistema. Cuando se ejecuta en el mismo sistema, puede acceder a la interfaz de usuario mediante https://127.0.0.1:8443 y Ollama mediante http://127.0.0.1:11434.

  6. Abra un navegador en Luna Desktop e introduzca la URL para confirmar que Ollama se está ejecutando.

    http://127.0.0.1:11434

    El explorador debe mostrar un mensaje de texto similar al siguiente: Ollama is running.

Iniciar sesión en la interfaz de usuario

  1. Abra un explorador en Luna Desktop e introduzca la URL.

    https://127.0.0.1:9898

    Apruebe la advertencia de seguridad según el explorador utilizado. Para Chrome, haga clic en el botón Advanced y, a continuación, en el enlace Accept the Risk and Continue.

  2. Introduzca el token de acceso.

    Introduzca el token de acceso que ha creado anteriormente y haga clic en el enlace Authenticate.

    ocne-ui-login

  3. Aparece la página UI Overview.

    ocne-ui-webui

    Haga clic en el botón Open Settings (Abrir configuración) de la ventana emergente denominada Configure AI Assistant (Configurar asistente de IA).

    Nota: Puede que vea algunas Advertencias en la sección Evento de la página de llegada. Este comportamiento es normal y desaparecerá después de unos minutos.

  4. Esto abre la página de configuración del ai-assistant en la sección Settings.

ocne-ui-webui

Nota: Desactive el botón Solicitud de API de Kubernetes en la sección Herramientas de IA.

Configurar un profesional asistencial local.

  1. Haga clic en el botón Add Provider.

    ocne-ui-webui

  2. Confirme el cuadro de diálogo 'Términos e información importante'.

    ocne-ui-login

  3. Haga clic en la opción de menú Cluster y, a continuación, en el enlaceLocal Models.

    ocne-ui-login

    Nota: Introduzca los detalles correctos para el modelo de Ollama local que está utilizando. En este ejemplo se muestra el modelo llama3.2 configurado anteriormente.

  4. Haga clic en la opción Save para guardar la configuración del proveedor.

    El asistente de IA ahora está configurado y listo para usarse.

Confirme que AI Assistant funciona.

  1. Haga clic en la opción de menú denominada Cluster y en 'Nodes' para acceder a la página Nodes.

    ocne-ui-login

  2. Haga clic en el botón Asistente de IA ubicado en la parte superior derecha de la pantalla principal.

    ocne-ui-login

  3. Se muestra la ventana Asistente de IA.

    ocne-ui-login

  4. Haga clic en el cuadro de lista desplegable para cambiar el modelo de la opción por defecto (llama2) al modelo local recién configurado (llama3.2).

    ocne-ui-login

  5. Haga una pregunta al asistente de IA en el cuadro de texto denominado 'Ask AI'.

    Pegue este ejemplo en el cuadro de texto denominado Ask AI.

    How many nodes are present?
  6. Haga clic en el botón Enviar para enviar la pregunta.

    ocne-ui-login

    Nota: El tiempo que tarda el asistente de IA en responder depende de varios factores, como los recursos disponibles para el modelo de LLM configurado y la complejidad de la pregunta que se realiza.

  7. El asistente de IA devuelve una respuesta.

    ocne-ui-login

    Nota: La redacción exacta utilizada en la respuesta puede variar ligeramente entre las solicitudes.

  8. Esto confirma que el asistente de IA está funcionando.

Pasos Siguientes

A través de estos pasos, ahora sabe cómo activar el acceso a la interfaz de usuario (IU) de Oracle Cloud Native Environment y configurarla para que utilice un LLM. Puede explorar sus muchas características y funcionalidades, que trataremos en futuros tutoriales.

Más recursos de aprendizaje

Explore otros laboratorios en docs.oracle.com/learn o acceda a más contenido de aprendizaje gratuito en el canal YouTube de Oracle Learning. Además, visite education.oracle.com/learning-explorer para convertirse en un explorador de Oracle Learning.

Para obtener documentación sobre el producto, visite Oracle Help Center.