Documentación de Oracle Cloud Infrastructure

Chat en OCI Generative AI

Utiliza los modelos de chat en lenguaje grande proporcionados en OCI Generative AI para hacer preguntas y obtener respuestas conversacionales a través de un bot conversacional de IA.

    1. En la barra de navegación de la consola, seleccione una región con IA generativa, por ejemplo, Medio oeste de EE. UU. (Chicago). Consulte qué modelos se ofrecen en su región.
    2. Abra el menú de navegación y seleccione Análisis e IA. En Servicios de IA, seleccione IA generativa.
    3. Seleccione un compartimento en cuyo compartimento tenga permiso para trabajar. Si no ve el patio de recreo, solicite a un administrador que le dé acceso a los recursos de IA generativa y, a continuación, vuelva a los siguientes pasos.
    4. Seleccione Playground.
    5. Seleccione Chat.
    6. Seleccione un modelo para la experiencia de chat realizando una de las siguientes acciones:
      • En la lista Modelo, seleccione un modelo entrenado previamente, como meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 o un modelo personalizado. Los modelos personalizados se muestran como nombre de modelo (nombre de punto final).
      • Seleccione Ver detalles de modelo, seleccione un modelo y, a continuación, seleccione Seleccionar modelo.
      Nota

      • El modelo meta.llama-3.1-405b-instruct no está disponible para el acceso bajo demanda en todas las regiones. Para acceder a este modelo, realice una de las siguientes opciones:

        • Configurar acceso dedicado: cambie a una región soportada para clusters dedicados para el modelo de chat meta.llama-3.1-405b-instruct. A continuación, cree un cluster de alojamiento y un punto final para este modelo.
        • Cambiar a una región bajo demanda: cambie a la región Medio oeste de EE. UU. (Chicago) que está soportada para inferencias bajo demanda para el modelo de chat meta.llama-3.1-405b-instruct.

      • El modelo meta.llama-3.2-11b-vision-instruct no está disponible para el acceso bajo demanda en ninguna región. Para acceder a este modelo, realice la siguiente opción:

      Obtenga información sobre los costos y las retiradas de modelo para modos de servicio dedicados y a demanda.

    7. Para iniciar una conversación, escriba una petición de datos o seleccione un ejemplo de la lista Ejemplo que se utilizará como petición de datos base o de la que aprender.
      Para los modelos que aceptan imágenes como meta.llama-3.2-90b-vision-instruct, puede agregar una imagen .png o .jpg con un tamaño de 5 MB o menos.
    8. (Opcional) Defina nuevos valores para los parámetros. Para obtener más información sobre los parámetros, consulte las definiciones de parámetros para seleccionar el modelo que está utilizando, que se muestra en Modelos de chat.
    9. Seleccione Enviar.
    10. Introduzca una nueva petición de datos o para continuar la conversación de chat, introduzca una petición de datos de seguimiento y seleccione Enviar.
      Importante

      En el patio de recreo, para los modelos de visión que aceptan imágenes:
      • Enviar una imagen sin una petición de datos no funciona. Al enviar una imagen, debe enviar una petición de datos sobre esa imagen en la misma solicitud. A continuación, puede enviar campos de seguimiento y el modelo mantiene el contexto de la conversación.
      • Para agregar la siguiente imagen y texto, debe borrar el chat, lo que provoca que se pierda el contexto de la conversación anterior debido a que se borra el chat.
    11. (Opcional) Para cambiar las respuestas, seleccione Borrar chat, actualice las peticiones de datos y los parámetros y seleccione Enviar. Repita este paso hasta que esté satisfecho con la salida.
    12. (Opcional) Después de los flujos de salida, revise los tokens de entrada y salida mostrados para la petición de datos.
      • Tokens de entrada: número de tokens de entrada utilizados para generar la respuesta, incluidos los tokens de petición de datos y de plantilla de chat (sistema, rol/formato, esquemas de herramientas).
      • Tokens de salida: número de tokens de salida generados por el modelo. Incluye tokens de razonamiento donde se informó; algunos modelos como Gemini y xAI excluyen tokens de razonamiento de este campo.
    13. (Opcional) Para copiar el código que ha generado la salida, seleccione Ver código, seleccione un lenguaje de programación o un marco, seleccione Copiar código, pegue el código en un archivo y guarde el archivo. Asegúrese de que el archivo mantenga el formato del código pegado.
      Consejo

      Si utiliza el código en una aplicación:

    14. (Opcional) Para iniciar una nueva conversación, seleccione Borrar chat.
      Nota

      • Al seleccionar Borrar chat, se borra la conversación de chat, pero los parámetros del modelo no cambian y puede seguir utilizando la última configuración que haya aplicado.

        Si cambia a una función diferente, como Generación y, a continuación, vuelve al patio de juegos Chat, tanto la conversación de chat como los parámetros de modelo se restablecerán a sus valores por defecto.

      Obtenga más información sobre los parámetros de chat de Cohere.

  • Para chatear, utilice la operación chat-result en la CLI de inferencia de IA generativa.

    Introduzca el siguiente comando para obtener una lista de opciones que utilizar con la operación chat-result.

    oci generative-ai-inference chat-result -h

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI de OCI Generative AI, consulte CLI de inferencia de IA generativa y CLI de gestión de IA generativa.

  • Ejecute la operación Chat para chatear con los modelos de lenguaje grandes.

    Para obtener información sobre el uso de la API y las solicitudes de firma, consulte la documentación de la API de REST y las Credenciales de seguridad. Para obtener información sobre los SDK, consulte Los SDK y la CLI.