Documentación de Oracle Cloud Infrastructure

Chat en OCI Generative AI

Utiliza los grandes modelos de chat de lenguaje proporcionados en OCI Generative AI para hacer preguntas y obtener respuestas conversacionales a través de un chatbot de IA.

    1. En la barra de navegación de la consola, seleccione una región con IA generativa, por ejemplo, Medio oeste de EE. UU. (Chicago) o Sur de Reino Unido (Londres). Consulte qué modelos se ofrecen en su región.
    2. Abra el menú de navegación y seleccione Análisis e IA. En Servicios de IA, seleccione IA generativa.
    3. Seleccione un compartimento en el que tenga permiso para trabajar. Si no ve el patio de recreo, pida a un administrador que le otorgue acceso a los recursos de IA generativa y, a continuación, vuelva a los siguientes pasos.
    4. Seleccione Playground.
    5. Seleccione Chat.
    6. Seleccione un modelo para la experiencia de chat realizando una de las siguientes acciones:
      • En la lista Modelo, seleccione un modelo entrenado previamente, como meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 o un modelo personalizado. Los modelos personalizados se muestran como nombre de modelo (nombre de punto final).
      • Seleccione Ver detalles de modelo, seleccione un modelo y, a continuación, seleccione Seleccionar modelo.
      Nota

      • El modelo meta.llama-3.1-405b-instruct no está disponible para el acceso bajo demanda en todas las regiones. Para acceder a este modelo, realice una de las siguientes acciones:

        • Configurar acceso dedicado: cambie a una región soportada para clusters dedicados para el modelo de chat meta.llama-3.1-405b-instruct. A continuación, cree un cluster de alojamiento y un punto final para este modelo.
        • Cambiar a una región bajo demanda: cambie a la región Medio Oeste de EE. UU. (Chicago) que está soportada para la inferencia bajo demanda para el modelo de chat meta.llama-3.1-405b-instruct.

      • El modelo meta.llama-3.2-11b-vision-instruct no está disponible para el acceso bajo demanda en ninguna región. Para acceder a este modelo, realice la siguiente opción:

      Obtenga información sobre los costos y las retiradas de modelo para modos de servicio dedicados y a demanda.

    7. Para iniciar una conversación, escriba una petición de datos o seleccione un ejemplo de la lista Ejemplo para utilizarlo como petición de datos base o para aprender de él.
      Para los modelos que aceptan imágenes como meta.llama-3.2-90b-vision-instruct, puede agregar una imagen .png o .jpg con un tamaño de 5 MB o menos.
    8. (Opcional) Defina nuevos valores para los parámetros. Para obtener más información sobre los parámetros, consulte las definiciones de parámetros para seleccionar el modelo que está utilizando, que se muestra en Modelos de chat.
    9. Seleccione Enviar.
    10. Introduzca una nueva petición de datos o para continuar la conversación de chat, introduzca una petición de datos de seguimiento y seleccione Enviar.
      Importante

      En el patio de recreo, para los modelos de visión que aceptan imágenes:
      • Enviar una imagen sin una petición de datos no funciona. Al enviar una imagen, debe enviar una petición de datos sobre esa imagen en la misma solicitud. A continuación, puede enviar mensajes de seguimiento y el modelo mantiene el contexto de la conversación.
      • Para agregar la siguiente imagen y texto, debe borrar el chat, lo que resulta en la pérdida de contexto de la conversación anterior debido a la eliminación del chat.
    11. (Opcional) Para cambiar las respuestas, seleccione Borrar chat, actualice las peticiones de datos y los parámetros y seleccione Enviar. Repita este paso hasta que esté satisfecho con la salida.
    12. (Opcional) Para copiar el código que generó la salida, seleccione Ver código, seleccione un lenguaje de programación o un marco, seleccione Copiar código, pegue el código en un archivo y guarde el archivo. Asegúrese de que el archivo mantenga el formato del código pegado.
      Consejo

      Si utiliza el código en una aplicación:

    13. (Opcional) Para iniciar una nueva conversación, seleccione Borrar chat.
      Nota

      • Al seleccionar Borrar chat, se borra la conversación de chat, pero los parámetros del modelo permanecen sin cambios y puede seguir utilizando la última configuración que haya aplicado.

        Si cambia a una función diferente, como Generación, y, a continuación, vuelve al patio de juegos de Chat, tanto la conversación de chat como los parámetros del modelo se restablecen a sus valores por defecto.

      Obtenga más información sobre los parámetros de chat de Cohere.

  • Para chatear, use la operación chat-result en Generative AI Inference CLI.

    Introduzca el siguiente comando para obtener una lista de opciones que utilizar con la operación chat-result.

    oci generative-ai-inference chat-result -h

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI de AI OCIGenerative, consulte Generative AI Inference CLI y Generative AI Management CLI.

  • Ejecute la operación de chat para chatear con los modelos de lenguaje grandes.

    Para obtener más información sobre el uso de la API y la firma de solicitudes, consulte la documentación de la API de REST y Credenciales de seguridad. Para obtener información sobre los SDK, consulte Los SDK y la CLI.