Documentation sur Oracle Cloud Infrastructure

Création d'un point d'extrémité

Créez un point d'extrémité pour un modèle personnalisé, préentraîné ou importé sur une grappe d'IA dédiée à l'hébergement dans l'IA générative OCI.

Avant de créer un point d'extrémité, assurez-vous que vous disposez d'une grappe dédiée à l'IA d'hébergement active compatible avec le modèle et que la grappe a la capacité de point d'extrémité restante. Par défaut, une grappe d'hébergement peut avoir jusqu'à 50 points d'extrémité de modèle. Voir Capacité du point d'extrémité.

Note

Pour ajouter un modèle à un point d'extrémité privé, créez d'abord un point d'extrémité privé, puis retournez à cette page pour voir les étapes à suivre pour attacher le modèle.

Les points d'extrémité privés sont pris en charge pour les modèles préentraînés, personnalisés et importés.

  • Dans la page de liste Points d'extrémité, sélectionnez Créer un point d'extrémité. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des points d'extrémité.

    Informations sur le point d'extrémité

    1. Sélectionnez un compartiment dans lequel créer le point d'extrémité. Le compartiment par défaut est le même que la page de liste, mais vous pouvez sélectionner tout compartiment que vous êtes autorisé à utiliser.
      Conseil

      Il est recommandé de créer le point d'extrémité dans le même compartiment que le modèle.
    2. (Facultatif) Entrez un nom pour le point d'extrémité. Commencez le nom par une lettre ou un trait de soulignement, suivi de lettres, de chiffres, de tirets ou de traits de soulignement. Il peut comporter entre 1 et 255 caractères. Si vous n'entrez pas de nom, le système génère un nom que vous pourrez modifier plus tard.
      Le nom généré a le format generativeaiendpoint<timestamp>. Exemple : generativeaiendpoint20250531235319
    3. (Facultatif) Entrez la description du modèle.

    Configuration d'hébergement

    1. Sélectionnez le compartiment qui héberge le modèle auquel vous voulez ajouter un point d'extrémité.
    2. Sélectionnez le modèle auquel vous voulez ajouter un point d'extrémité. Ce modèle peut être un modèle personnalisé, un modèle importé ou un modèle de base préentraîné prêt à l'emploi disponible dans la région dans laquelle vous travaillez.
    3. Si le modèle que vous avez sélectionné comporte plusieurs versions, sélectionnez-en une.
      Pour les modèles de base préentraînés prêts à l'emploi, ce champ est alimenté lorsque vous sélectionnez le modèle.
    4. Sélectionnez le compartiment de la grappe dédiée à l'IA qui contient la grappe d'hébergement à utiliser ou l'emplacement où vous voulez en créer un.
    5. Sélectionnez une grappe dédiée à l'IA pour l'hébergement en effectuant l'une des actions suivantes :
      • Sélectionnez une grappe dédiée à l'IA dans la liste. Si vous avez créé une grappe il y a quelques minutes, attendez que celle-ci devienne active. Pour un modèle préentraîné, assurez-vous que le modèle sélectionné prend en charge la forme d'unité complète de la grappe. Pour un modèle personnalisé, assurez-vous que la grappe a été créée pour le modèle de base du modèle. Pour un modèle importé, assurez-vous que la forme d'unité complète de la grappe prend en charge le modèle sélectionné et que vous avez supprimé tous les points d'extrémité pour un autre modèle importé de la grappe. Voir Changement de modèles sur des grappes d'IA dédiées.
      • Sélectionnez Créer une nouvelle grappe dédiée à l'IA et effectuez les étapes suivantes :
        1. (Facultatif) Entrez un nom et une description.
        2. Pour Modèle de base, sélectionnez l'une des options suivantes :
          • Le modèle de base préentraîné que vous hébergez.
          • Si vous utilisez un modèle personnalisé, affiné à partir d'un modèle de base, sélectionnez le modèle de base (de base) initial sur lequel il a été entraîné.
          • Si vous utilisez un modèle importé, sélectionnez-le.
        3. Si vous avez sélectionné un modèle importé, sélectionnez une taille d'unité recommandée en fonction de ce guide.
        4. Utilisez au moins une réplique de modèle pour la grappe d'hébergement. Les répliques de modèle fournissent la capacité de calcul pour l'inférence et nécessitent des unités d'IA dédiées. La création de points d'extrémité supplémentaires n'augmente pas le débit de la grappe.
        5. Vérifiez les informations de facturation et d'engagement pour la grappe dédiée à l'IA pour l'hébergement et, si vous y êtes invité, cochez la case pour accepter l'engagement. Les grappes d'hébergement pour les modèles importés ne nécessitent pas l'engagement minimal de 744 heures qui s'applique aux modèles préentraînés et personnalisés d'IA générative pour OCI.
        6. (Facultatif) Sélectionnez Ajouter un marqueur et affectez des marqueurs à cette grappe dédiée à l'IA. Voir Marqueurs de ressource.
        7. Sélectionnez Créer et attendez que la grappe devienne active.
        8. Dans la liste Grappe dédiée à l'IA, sélectionnez la grappe que vous avez créée.

    Ressources de réseau

    Pour Type de point d'extrémité, sélectionnez l'une des options suivantes :
    • Point d'extrémité public
    • Point d'extrémité privé : Sélectionnez le compartiment qui contient le point d'extrémité privé, puis sélectionnez le point d'extrémité privé à utiliser. Si vous n'avez pas encore de point d'extrémité privé, créez-en un avant de continuer.

    Garde-corps pour modèles préentraînés et personnalisés

    Note

    Les garde-corps ne sont pas disponibles pour les modèles importés.
    Important

    Avis de non-responsabilité

    Nos garde-corps de modération de contenu (CM) et d'injection rapide (PI) ont été évalués sur une gamme de jeux de données de référence multilingues. Toutefois, la performance réelle peut varier en fonction des langues, domaines, répartitions des données et modèles d'utilisation spécifiques présents dans les données fournies par le client lorsque le contenu est généré par l'intelligence artificielle et peut contenir des erreurs ou des omissions. Ainsi, il est destiné à des fins d'information uniquement, ne doit pas être considéré comme un conseil professionnel et OCI ne garantit pas que des caractéristiques de performance identiques seront observées dans tous les déploiements du monde réel. L'équipe OCI Responsible AI améliore continuellement ces modèles.

    Nos capacités de modération de contenu ont été évaluées par rapport à RTPLX, l'un des plus grands jeux de données d'analyse comparative multilingue accessibles au public, couvrant plus de 38 langues. Cependant, ces résultats doivent être interprétés avec une prudence appropriée car le contenu est généré par l'IA et peut contenir des erreurs ou des omissions. Les évaluations multilingues sont intrinsèquement limitées par la portée, la représentativité et les pratiques d'annotation des ensembles de données publics, et les performances observées sur RTPLX pourraient ne pas se généraliser complètement à tous les contextes, domaines, dialectes ou modèles d'utilisation du monde réel. Ainsi, les conclusions sont destinées à des fins d'information seulement et ne doivent pas être considérées comme des conseils professionnels.

    Sélectionnez un paramètre pour chaque garde-corps. Pour obtenir des informations générales, voir En savoir plus sur les garde-corps et consulter l'avis de non-responsabilité dans cette section avant de les utiliser.
    • Modération du contenu
      • Désactivé : Aucune modération de contenu n'est appliquée.
      • Bloquer : Permet de détecter le contenu qui nécessite une modération et vise à bloquer la demande ou la réponse en fonction de votre configuration.
      • Informer : Ne bloque pas le contenu, mais vise à retourner une indication lorsque le contenu nécessitant une modération est détecté
    • Protection contre l'injection d'invites
      • Désactivé : Aucune protection d'injection d'invite n'est appliquée.
      • Bloquer : Permet de détecter les tentatives d'injection d'invite et vise à bloquer la demande en fonction de votre configuration.
      • Informer : Ne bloque pas la demande, mais vise à retourner une indication lorsque le risque d'injection d'invite est détecté.
    • Protection des informations d'identification personnelle (IIP)
      • Désactivé : Aucune protection d'informations d'identification personnelle n'est appliquée.
      • Bloquer : Permet de détecter les informations d'identification personnelle et vise à bloquer la demande ou la réponse en fonction de votre configuration.
      • Informer : Ne bloque pas le contenu, mais vise à retourner une indication lorsque des informations d'identification personnelle sont détectées.

    Créer et utiliser le point d'extrémité

    1. (Facultatif) Sélectionnez Ajouter un marqueur et affectez des marqueurs à ce point d'extrémité. Voir Marqueurs de ressource.
    2. Sélectionnez Créer.
      Vous accédez à la page de détails du point d'extrémité, dans laquelle vous pouvez consulter l'état du point d'extrémité. Le nouveau point d'extrémité est pris en compte dans la capacité restante du point d'extrémité de la grappe d'hébergement.
    3. Une fois le point d'extrémité actif, sélectionnez Voir dans le terrain de jeu et commencez à utiliser le modèle à partir de ce point d'extrémité.

  • Utilisez la commande endpoint create et les paramètres requis pour créer un point d'extrémité :

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface de ligne de commande.

    Note

    Pour les modèles préentraînés, au lieu d'un OCID, vous pouvez utiliser le nom du modèle exactement comme indiqué dans le terrain de jeu de la console. Vous pouvez également trouver ce nom de modèle OCI dans la page de détails du modèle sous Modèles fondamentaux préentraînés offerts dans l'intelligence artificielle générative.

  • Exécutez l'opération CreateEndpoint pour créer un point d'extrémité.

    Note

    Pour les modèles préentraînés, au lieu d'un OCID, vous pouvez utiliser le nom du modèle exactement comme indiqué dans le terrain de jeu de la console. Vous pouvez également trouver ce nom de modèle OCI dans la page de détails du modèle sous Modèles fondamentaux préentraînés offerts dans l'intelligence artificielle générative.