Gerenciando Perfis de Roteamento
Os perfis de roteamento definem como a OCI Generative AI roteia solicitações de modelo sob demanda entre regiões da OCI selecionadas pelo usuário.
Um perfil de roteamento especifica um modelo sob demanda suportado e uma ou mais regiões do OCI de destino no mesmo realm em que esse modelo está disponível. Quando você faz referência ao perfil de rota em uma solicitação de inferência suportada, o serviço Generative AI roteia a solicitação apenas entre as regiões de destino no perfil.
Use perfis de rota para acessar um modelo selecionado em um escopo regional aprovado sem criar um roteamento entre regiões do lado do aplicativo. Para obter a disponibilidade regional de cada modelo, consulte Modelos de IA Generativa por Região.
Use um perfil de rota para acessar um modelo sob demanda hospedado em outra região. As opções API de Chat, API de Conclusões de Chat do OCI e API de Respostas do OCI são suportadas quando o modelo selecionado suporta a API. Para regiões sem processamento de modelo local, incluindo UAE Central (Abu Dhabi), que também hospeda modelos dedicados, consulte Regiões sem Processamento de Modelo Local.
Os perfis de roteamento também estão disponíveis em regiões com processamento de modelo local. Por exemplo, se um modelo sob demanda estiver disponível no Centro-Oeste dos EUA (Chicago), mas não no Leste dos EUA (Ashburn), crie um perfil de rota em Ashburn e selecione Chicago como sua região de destino. Selecione o perfil no Playground de Ashburn ou faça referência a ele em uma solicitação para o ponto final da API de Ashburn. A inferência por meio de perfis de rota usa o modo sob demanda.
Você pode executar as seguintes tarefas para criar e gerenciar perfis de rota: