Gestion des points d'extrémité de modèle
Utilisez des points d'extrémité de modèle pour envoyer des demandes d'inférence à des modèles préentraînés, personnalisés ou importés hébergés sur des grappes d'IA dédiées dans l'IA générative OCI.
Un point d'extrémité de modèle est un point d'accès nommé séparément où un modèle accepte les demandes d'inférence et retourne des réponses. Vous créez un point d'extrémité de modèle dans une grappe dédiée à l'IA de type hébergement. Un modèle hébergé en mode sur demande ne nécessite pas de point d'extrémité de modèle sur une grappe dédiée à l'IA.
Comment les points d'extrémité de modèle utilisent une grappe d'hébergement
Une grappe dédiée à l'IA d'hébergement doit avoir au moins une réplique de modèle. Les répliques de modèle utilisent des unités d'IA dédiées et fournissent les ressources de calcul pour l'inférence. Les points d'extrémité du modèle utilisent le modèle et les ressources de calcul provisionnés sur la grappe.
La création de points d'extrémité de modèle supplémentaires n'ajoute pas de répliques de modèle ni n'augmente le débit d'inférence de la grappe. Pour augmenter le débit, ajoutez des répliques de modèle à la grappe d'hébergement.
Lorsque vous créez une grappe d'hébergement, vous sélectionnez un modèle de base préentraîné, le modèle de base d'un modèle personnalisé ou un modèle importé spécifique. Le modèle utilisé par un point d'extrémité doit être compatible avec cette sélection de grappe et sa forme d'unité. Les modèles non associés ne peuvent pas partager la même grappe. Pour connaître la compatibilité des points d'extrémité et des grappes propres au modèle, consultez la page du modèle applicable.
Les grappes d'hébergement pour les modèles importés ne nécessitent pas l'engagement minimal de 744 heures qui s'applique aux grappes d'hébergement pour les modèles préentraînés et personnalisés du service d'intelligence artificielle générative pour OCI. Cette différence de facturation ne supprime pas l'exigence de créer un point d'extrémité de modèle pour accéder à un modèle importé. Voir Formes d'unité matérielle pour les modèles importés.
Capacité de point d'extrémité
Par défaut, une grappe d'IA dédiée à l'hébergement peut avoir jusqu'à 50 points d'extrémité de modèle. Dans la page des détails de la grappe dédiée à l'IA, Capacité de point d'extrémité restante indique le nombre de points d'extrémité de modèle supplémentaires que la grappe peut prendre en charge sous sa limite courante. Par exemple, une grappe avec une capacité de 50 et un point d'extrémité existant affiche une capacité de point d'extrémité restante de 49.
Vous pouvez créer plusieurs points d'extrémité en tant qu'alias pour un modèle compatible et les utiliser pour différents utilisateurs, applications ou objectifs. Lorsque cela est pris en charge, chaque point d'extrémité peut avoir sa propre configuration de point d'extrémité, telle que l'accès au réseau public ou privé et les paramètres de garde-corps. Les points d'extrémité partagent les ressources de calcul et les répliques de modèle provisionnées sur la grappe.
Si vous n'avez plus besoin d'un point d'extrémité, supprimez le point d'extrémité afin de pouvoir utiliser la capacité de point d'extrémité disponible de la grappe pour un autre point d'extrémité.
Pour plus de 50 points d'extrémité sur une grappe d'hébergement, demandez une augmentation de limite de service pour
endpoint-per-dedicated-unit-count. Voir Limites du service d'IA générative.Points d'extrémité de modèle et points d'extrémité privés
Un point d'extrémité de modèle et un point d'extrémité privé servent des objectifs différents. Un point d'extrémité de modèle donne accès à un modèle hébergé dans une grappe dédiée à l'IA. Un point d'extrémité privé fournit un chemin de réseau privé vers l'IA générative OCI au moyen d'un réseau en nuage virtuel (VCN).
Pour accéder à un modèle sur une grappe dédiée à l'IA au moyen d'un réseau privé, créez d'abord un point d'extrémité privé. Ensuite, lorsque vous créez le point d'extrémité de modèle sur la grappe, sélectionnez le point d'extrémité privé pour l'accès au réseau.
Tâches de gestion
Après avoir créé un point d'extrémité actif pour un modèle personnalisé ou importé, le modèle est disponible dans la liste des modèles du terrain de jeu.
Vous pouvez effectuer les tâches suivantes pour créer et gérer des points d'extrémité de modèle :
- Création d'un point d'extrémité
- Affichage des points d'extrémité
- Affichage d'un modèle avec un point d'extrémité dans le terrain de jeu
- Obtention des détails d'un point d'extrémité
- Mise à jour d'un point d'extrémité
- Déplacement d'un point d'extrémité
- Obtention des mesures d'un point d'extrémité
- Changement de modèles sur une grappe dédiée à l'IA
- Suppression d'un point d'extrémité