Documentación de Oracle Cloud Infrastructure

Selección de modelos en agentes de IA generativa

El servicio OCI Generative AI Agents soporta la selección de modelos, donde puede seleccionar un modelo de lenguaje grande (LLM) como el LLM de enrutamiento para su agente durante la creación o edición. Puede seleccionar entre los modelos a demanda alojados en el servicio OCI Generative AI o crear y utilizar puntos finales de cluster de IA dedicados para los modelos soportados.

La selección de modelos proporciona flexibilidad para optimizar el rendimiento de su agente en función de su carga de trabajo (por ejemplo, para las herramientas RAG y SQL).

Cómo Seleccionar un Modelo

Al crear o editar un agente en la consola de OCI, vaya a la sección Selección de modelo en la configuración del agente.

  1. Seleccione el tipo de LLM de enrutamiento:

    • Seleccione una de las opciones siguientes:
      • Valor predeterminado: utiliza el modelo estándar proporcionado por el servicio de agentes de IA generativa (Llama 3.3 70B). Esto es adecuado para agentes de uso general sin necesidad de modelos personalizados.
      • Modelo de IA generativa: seleccione uno de los modelos a demanda alojados directamente en el servicio OCI Generative AI.
      • Punto final de IA generativa: seleccione uno de los modelos alojados en puntos finales de cluster de IA dedicados en el servicio OCI Generative AI.

  2. Seleccione un modelo o punto final específico:

    • Si ha seleccionado Modelo de IA generativa o Punto final de IA generativa en la lista, la consola muestra una lista de opciones disponibles. Examine y seleccione el modelo o punto final preferible.
    • La lista se rellena en función de los modelos/puntos finales disponibles del arrendamiento y los permisos de IAM

  3. Actualizar hiperparámetros predeterminados:

    • Revise los valores por defecto para los hiperparámetros de modelo.
    • Opcionalmente, actualice cualquiera de esos hiperparámetros.
Consejo

Modelos soportados

Modelos soportados y sus hiperparámetros
Modelos que puede seleccionar Hiperparámetros que puede actualizar
  • Máximo de tokens de salida
  • Temperatura
  • p principales
  • k principales
  • Penalización de frecuencia
  • Penalización de presencia
  • Valor inicial
  • Máximo de tokens de salida
  • Temperatura
  • p principales
  • Penalización de frecuencia
  • Penalización de presencia
  • Máximo de tokens de salida
  • Temperatura
  • p principales
  • Penalización de frecuencia
  • Penalización de presencia

Regiones soportadas

Se admiten las siguientes regiones:

  • Este de Brasil (São Paulo)
  • Centro de Alemania (Fráncfort)
  • Centro de Japón (Osaka)
  • Sur de Reino Unido (Londres)
  • Este de EE. UU. (Ashburn)
  • Medio Oeste de EE. UU. (Chicago)
  • Oeste de EE. UU. (Phoenix)

Para confirmar las regiones utilizables de un modelo para la función de selección de modelos de agentes, realice las siguientes tareas.

  1. En la página Modelos por región de la documentación de IA generativa, seleccione uno de los modelos soportados que se muestran en la sección Modelos soportados.
  2. Seleccione una región para el modelo que aparezca tanto en las regiones disponibles del modelo como en las siete regiones soportadas anteriores.
  3. Verifique si el modelo está disponible en el modo que necesita (bajo demanda o dedicado).

    Para acceder a modelos en modo dedicado, solo están soportados los puntos finales públicos.