Gestión de perfiles de enrutamiento
Los perfiles de enrutamiento definen cómo OCI Generative AI enruta las solicitudes de modelo bajo demanda en las regiones de OCI seleccionadas por el usuario.
Un perfil de enrutamiento especifica un modelo a demanda soportado y una o más regiones de OCI de destino dentro del mismo dominio en el que ese modelo está disponible. Cuando hace referencia al perfil de enrutamiento en una solicitud de inferencia admitida, la IA generativa enruta la solicitud solo entre las regiones de destino del perfil.
Utilice perfiles de enrutamiento para acceder a un modelo seleccionado en un ámbito regional aprobado sin crear un enrutamiento entre regiones del lado de la aplicación. Para conocer la disponibilidad regional de cada modelo, consulte Modelos de IA generativa por región.
Utilice un perfil de enrutamiento para acceder a un modelo a demanda alojado en otra región. La API de chat, la API de finalizaciones de chat de OCI y la API de respuestas de OCI están soportadas cuando el modelo seleccionado soporta la API. Para las regiones sin procesamiento de modelos locales, incluido UAE Central (Abu Dhabi), que también aloja modelos dedicados, consulte Regions with no Local Model Processing.
Los perfiles de enrutamiento también están disponibles en regiones con procesamiento de modelo local. Por ejemplo, si un modelo a demanda está disponible en el medio oeste de EE. UU. (Chicago), pero no en el este de EE. UU. (Ashburn), cree un perfil de enrutamiento en Ashburn y seleccione Chicago como región de destino. Seleccione el perfil en el área de juegos de Ashburn o haga referencia a él en una solicitud al punto final de la API de Ashburn. La inferencia a través de perfiles de enrutamiento utiliza el modo bajo demanda.
Puede realizar las siguientes tareas para crear y gestionar perfiles de enrutamiento: