Gestion des profils d'acheminement
Les profils d'acheminement définissent comment l'IA générative OCI achemine les demandes de modèle sur demande dans les régions OCI sélectionnées par l'utilisateur.
Un profil d'acheminement spécifie un modèle sur demande pris en charge et une ou plusieurs régions OCI cibles dans le même domaine où ce modèle est disponible. Lorsque vous référencez le profil d'acheminement dans une demande d'inférence prise en charge, l'intelligence artificielle générative achemine la demande uniquement dans les régions cibles du profil.
Utilisez des profils d'acheminement pour accéder à un modèle sélectionné dans une portée régionale approuvée sans créer d'acheminement inter-régions côté application. Pour connaître la disponibilité régionale de chaque modèle, voir Modèles d'IA générative par région.
Utilisez un profil d'acheminement pour accéder à un modèle sur demande hébergé dans une autre région. L'API de clavardage, l'API d'achèvement de clavardage OCI et l'API de réponses OCI sont prises en charge lorsque le modèle sélectionné prend en charge l'API. Pour les régions sans traitement de modèle local, y compris les Émirats arabes unis - Centre (Abu Dhabi), qui héberge également des modèles dédiés, voir Régions sans traitement de modèle local.
Les profils d'acheminement sont également disponibles dans les régions avec traitement de modèle local. Par exemple, si un modèle sur demande est disponible dans le centre-ouest des États-Unis (Chicago) mais pas dans l'est des États-Unis (Ashburn), créez un profil d'acheminement dans Ashburn et sélectionnez Chicago comme région cible. Sélectionnez le profil dans Ashburn's Playground ou référencez-le dans une demande au point d'extrémité de l'API Ashburn. L'inférence au moyen de profils d'acheminement utilise le mode sur demande.
Vous pouvez effectuer les tâches suivantes pour créer et gérer des profils d'acheminement :