Documentation Oracle Cloud Infrastructure

Déploiement de modèle

Suivez ces étapes pour déployer des modèles avec des actions rapides d'IA.

Création de déploiement de modèle

Vous pouvez créer un déploiement de modèle à partir des modèles de base avec la balise Prêt pour déploiement dans l'explorateur de modèles ou avec des modèles affinés. Lorsque vous créez un déploiement de modèle dans les actions rapides d'IA, vous créez un déploiement de modèle OCI Data Science, qui est une ressource gérée dans le service OCI Data Science. Vous pouvez déployer le modèle en tant qu'adresses HTTP dans OCI.

Vous devez disposer de la stratégie nécessaire pour utiliser le déploiement de modèle Data Science. Vous pouvez sélectionner la forme de calcul pour le déploiement de modèle. Vous pouvez configurer la journalisation pour surveiller le déploiement de modèle. La journalisation est facultative, mais il est fortement recommandé de résoudre les erreurs liées au déploiement de modèle. Vous devez disposer de la stratégie nécessaire pour activer la journalisation. Pour plus d'informations sur les journaux, reportez-vous à Journaux de déploiement de modèle. Sous l'option avancée, vous pouvez sélectionner le nombre d'instances à déployer et la bande passante de l'équilibreur de charge.

Reportez-vous à Déploiement de modèle sur GitHub pour plus d'informations et des conseils sur le déploiement de modèles.

Remarque

Pour accéder aux déploiements de modèle à l'aide d'adresses privées, créez une session de bloc-notes avec le type de réseau défini sur Réseau personnalisé. La sortie personnalisée doit résider dans le même VCN et le même sous-réseau que la ressource d'adresse privée.

  • Vous pouvez déployer des modèles à l'aide de trois options sur la page Déployer un modèle :

    • Déployer un modèle unique : déployez un modèle sur une forme de calcul.
    • Déployer plusieurs modèles : déployez plusieurs modèles sur une seule instance de calcul.
    • Déployer la pile de modèles : déployez un modèle de base et plusieurs variantes affinées en tant que pile sur une forme de calcul unique.

    Cette section décrit chaque option de déploiement.

    1. Accédez à l'explorateur de modèles.
    2. Sélectionnez la carte de modèle pour le modèle à déployer.
    3. Sélectionnez Déployer pour déployer le modèle. La page Déployer le modèle s'affiche avec les trois options. Suivez les étapes en fonction du modèle sélectionné :
    4. Déployer un seul modèle :
      1. Attribuez un nom au déploiement.
      2. Sélectionnez une forme de calcul.
      3. (Facultatif) Sélectionnez un groupe d'écritures.
      4. (Facultatif) Sélectionnez une prévision et un journal d'accès.
      5. (Facultatif) Sélectionnez une adresse privé.
        Remarque

        Une adresse privée doit être créée en tant que prérequis pour la ressource de déploiement de modèle.

        La fonctionnalité d'adresse privée pour le déploiement de modèle est activée uniquement dans le domaine OC1. Pour les autres domaines, créez une demande de service pour Data Science.

        La liste permettant de sélectionner et d'utiliser une adresse privée dans le déploiement de modèle apparaît uniquement dans la console si une adresse privée existe dans le compartiment.
      6. Sélectionnez l'option Afficher les options avancées.
      7. Mettez à jour le nombre d'instances et la bande passante de l'équilibreur de charge.
      8. (Facultatif) Sous Conteneur d'inférence, sélectionnez un conteneur d'inférence.
      9. (Facultatif) Sélectionnez Mode Inférence.
      10. Sélectionnez Déployer.
    5. Déployer plusieurs modèles : seul le conteneur vLLM est pris en charge. Les modèles gérés par le service peuvent être combinés en un seul déploiement.
      1. Entrez un nom pour le déploiement.
      2. Sélectionnez les modèles à déployer.
      3. Sélectionnez une forme de calcul adaptée aux modèles.
      4. (Facultatif) Configurez des groupes de journaux, des journaux de prévision et d'accès ou des adresses privées.
      5. Sélectionnez Affichage des options avancées.
      6. Mettez à jour le nombre d'instances et la bande passante de l'équilibreur de charge.
      7. (Facultatif) Sous Conteneur d'inférence, sélectionnez un conteneur d'inférence.
      8. (Facultatif) Sélectionnez Mode Inférence.
      9. Sélectionnez Déployer.
    6. Déployer la pile de modèles : seul le conteneur vLLM est pris en charge.
      1. Entrez un nom pour le déploiement.
      2. Sélectionnez le modèle de base.
      3. Sélectionnez les pondérations ou les variantes affinées.
      4. Sélectionnez une forme de calcul.
      5. (Facultatif) Configurez des groupes de journaux, des journaux de prévision et d'accès ou des adresses privées.

        La journalisation est recommandée pour le suivi et le dépannage des opérations de déploiement.

      6. Sélectionnez Affichage des options avancées.
      7. Mettez à jour le nombre d'instances et la bande passante de l'équilibreur de charge.
      8. (Facultatif) Sous Conteneur d'inférence, sélectionnez un conteneur d'inférence.
      9. (Facultatif) Sélectionnez Mode Inférence.
      10. Sélectionnez Déployer.
    7. Sous Actions rapides IA, sélectionnez Déploiements.
      La liste des déploiements de modèle apparaît. Pour le déploiement précédent créé, attendez que l'état de cycle de vie devienne actif avant de cliquer dessus pour l'utiliser.
    8. Faites défiler pour afficher la fenêtre d'inférence.
    9. Entrez du texte dans l'invite pour tester le modèle.
    10. (Facultatif) Ajustez les paramètres de modèle selon vos besoins.
    11. Sélectionnez Générer.
      La sortie est affichée dans Réponse.

  • Pour obtenir la liste complète des paramètres et des valeurs des commandes de l'interface de ligne de commande des actions rapides AI, reportez-vous à Interface de ligne de commande des actions rapides AI.

  • Cette tâche ne peut pas être effectuée à l'aide de l'API.

Appeler le déploiement de modèle dans les actions rapides AI

Vous pouvez appeler le déploiement de modèle dans AI Quick Actions à partir de l'interface de ligne de commande ou du kit SDK Python.

Pour plus d'informations, reportez-vous à la section sur les conseils de déploiement de modèle dans GitHub.

Artefacts de modèle

Où trouver des artefacts de modèle.

Lorsqu'un modèle est téléchargé dans une instance de déploiement de modèle, il est téléchargé dans le dossier /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> .

Utilisation de déploiements de modèle dans Autonomous Database Select AI

Vous pouvez rendre les déploiements de modèle créés avec AI Quick Actions disponibles pour l'interrogation en langage naturel avec Oracle Autonomous Database Select AI.

Prérequis

  • Le déploiement du modèle est terminé et l'OCID de déploiement du modèle.
  • Instance Autonomous Database avec Select AI activé. Reportez-vous à Sélectionner une IA avec Autonomous Database.
  • Droits d'accès Oracle Cloud Infrastructure (OCI) requis pour créer des informations d'identification et des profils.
  1. Dans Autonomous Database, créez des informations d'identification pour accéder au déploiement de modèle. 
    BEGIN
    DBMS_CLOUD.create_credential(
        credential_name   => '<CREDENTIAL_NAME>',
        user_ocid         => '<USER_OCID>',
        tenancy_ocid      => '<TENANCY_OCID>',
        private_key       => '<PRIVATE_KEY>',
        fingerprint       => '<FINGERPRINT>'
    );
END;
/

    Remplacez chaque espace réservé par des valeurs spécifiques :

    • <CREDENTIAL_NAME> : nom des informations d'identification
    • <USER_OCID> : OCID utilisateur OCI
    • <TENANCY_OCID> : OCID de location OCI
    • <PRIVATE_KEY> : clé privée d'API au format PEM
    • <FINGERPRINT> : empreinte de clé publique d'API

    Pour plus d'informations, reportez-vous à Gestion des informations d'identification.

  2. Créez un profil Select AI pour connecter la base de données autonome au modèle déployé.

    BEGIN
    DBMS_CLOUD_AI.CREATE_PROFILE(
        profile_name => '<PROFILE_NAME>',
        attributes => '
{
  "credential_name": "<CREDENTIAL_NAME>",
  "model": "<MODEL_NAME>",
  "provider": "openai",
  "provider_endpoint": "<MODEL_DEPLOYMENT_OCID>",
  "conversation": "",
  "object_list": [
    {"owner": "ADMIN", "name": "customers"}
  ]
}'
    );
END;
/
    Remplacez les espaces réservés :
    • <PROFILE_NAME> : nom du profil.
    • <CREDENTIAL_NAME> : nom des informations d'identification de l'étape 1.
    • <MODEL_NAME> : nom du modèle déployé (par exemple, odsc_2025llm).
    • <MODEL_DEPLOYMENT_OCID> : OCID de déploiement de type modèle.
    • Mettez à jour "object_list" pour refléter le schéma et la table à afficher.