Documentación de Oracle Cloud Infrastructure

Crear el servicio de LLM

El estado del componente de LLM en el flujo de diálogo accede al modelo a través de un servicio de LLM de nivel de aptitud, que combina un servicio de LLM de nivel de instancia con uno de los manejadores de transformación de la aptitud. Un servicio de LLM es un artefacto de nivel de aptitud.

Para configurar este servicio:
  1. Seleccione Configuración > Configuración.
  2. En la sección Servicios de modelo de lenguaje grande de la página, haga clic en + Nuevo servicio de LLM.
  3. Rellene la fila:
    • Nombre: introduzca un nombre fácilmente identificable para el servicio de LLM. Este es el nombre que elegirá al configurar el flujo de diálogo.
    • Servicio LLM: seleccione entre los servicios LLM que se han configurado para la instancia.
    • Manejador de transformación: seleccione el manejador de transformación que es el equivalente del servicio de LLM. Por ejemplo, si el componente de LLM utiliza el servicio de LLM OpenAI de Azure para generar respuestas, debería seleccionar uno de los manejadores de eventos de la aptitud que transforma las cargas útiles OpenAI de Azure en CLMI.
    • Prueba: active esta opción (verdadero) para ahorrar tiempo y costos al probar el flujo de diálogo. Debido a que esta opción permite que el componente del LLM devuelva una respuesta estática en lugar de la continuación generada por el LLM, no tiene que perder tiempo esperando la respuesta del LLM ni incurrir en costos del proveedor de servicios del LLM cuando solo está probando parte del flujo de diálogo.
      Nota

      Solo puede utilizar esta opción si el servicio de LLM que ha seleccionado tiene una respuesta estática de 200.
    • Valor predeterminado: al activar esta opción (verdadero), se configura el servicio de LLM como la selección predeterminada en el menú Servicio de LLM del componente de LLM. Si un servicio de LLM existente ya está definido como predeterminado, su estado predeterminado se sobrescribe (es decir, se establece en false) cuando se activa para otro servicio de LLM.
  4. Haga clic en la acción Guardar (situada a la derecha).
    Icono de acción Guardar.

Los servicios de LLM creados como servicios REST en las versiones anteriores a la 24.02 se marcan con una advertencia El icono de advertencia.. Para descartar esta advertencia, seleccione el servicio REST (al que se accede a través de Configuración > Servicios de API) y, a continuación, haga clic en Convertir a LLM.