Documentation sur Oracle Cloud Infrastructure

Création d'un déploiement de modèle

Une fois que vous avez stocké un modèle du service de science des données dans le catalogue de modèles, il peut être déployé en tant que point d'extrémité HTTP en tant que déploiement de modèle.

Points à considérer

Envisagez d'utiliser un conteneur personnalisé lors de la création d'un déploiement de modèle.

Vous pouvez créer et exécuter des déploiements de modèle avec les options de réseau suivantes :

  • Réseau par défaut : Le réseau géré par le service apparaît en tant que réseau par défaut dans deux options : sans accès Internet et avec accès Internet.
    • Le réseau par défaut sans accès Internet fournit une connectivité à d'autres services OCI
    • Le réseau par défaut avec accès Internet fournit une connectivité à la fois à d'autres services OCI et à Internet.
  • Le réseau personnalisé vous permet de configurer le réseau dans votre location, ce qui vous donne un contrôle total sur le VCN, les sous-réseaux, le routage et les politiques d'accès.

Les instructions de cette page couvrent toutes les options de réseau.

    1. Dans la page de liste Projets, sélectionnez le projet qui contient les déploiements de modèle que vous voulez utiliser. Si vous avez besoin d'aide pour trouver la page de liste ou le projet, voir Liste des projets.
    2. Dans la page des détails du projet, sélectionnez Déploiements de modèle.
    3. Sélectionnez Créer un déploiement de modèle.
    4. Dans la page Créer un déploiement de modèle, entrez les informations suivantes.
      • Compartiment
      • Nom (Facultatif) : Entrez un nom unique pour le déploiement de modèle (255 caractères au maximum). Si vous n'indiquez pas de nom, un nom est automatiquement généré. Exemple : modeldeployment20200108222435
      • Description (Facultatif) : Entrez une description (limite de 400 caractères) pour le déploiement de modèle.
      • Clé de variable d'environnement personnalisée (Facultatif) : Entrez une clé de variable d'environnement personnalisée.
      • Valeur (Facultatif) : Entrez la valeur de la clé.
      • Modèles : Sélectionnez Sélectionner pour ouvrir le panneau Sélectionner des modèles, sélectionnez l'option appropriée, puis sélectionnez Soumettre pour fermer le panneau.
        Important

        Les artefacts de modèle qui dépassent 400 Go ne sont pas pris en charge pour le déploiement. Sélectionnez un artefact de modèle plus petit pour le déploiement.
        • Modèle unique : Recherchez le modèle avec Sélectionner un compartiment de modèle (spécifier le compartiment et le projet) ou Utilisation de l'OCID, puis sélectionnez le modèle dans la liste.
        • Groupes de modèles : Spécifiez le compartiment et le projet, puis sélectionnez le groupe de modèles dans la liste.
      • Modifiez la forme du service de calcul en sélectionnant Modifier la forme. Suivez ensuite ces étapes dans le panneau Sélectionner une forme de calcul.
        • Sélectionner un type d'instance.
        • Sélectionnez une série de formes.
        • Sélectionnez une des formes de calcul prises en charge dans la série. Sélectionnez la forme qui convient le mieux à l'utilisation souhaitée de la ressource.
        • Développez la forme sélectionnée pour configurer les OCPU et la mémoire.
          • Nombre d'OCPU
          • Montant de mémoire (Go) : Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est de 1 Go ou une valeur correspondant au nombre d'OCPU, selon la valeur la plus élevée.
          • Activer la forme extensible : Sélectionnez cette option si vous utilisez des machines virtuelles extensibles, puis pour Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous voulez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %. (Pour les déploiements de modèle, seule la valeur de 50 % est prise en charge.)
        • Sélectionnez Sélectionner une forme.
      • Nombre d'instances : Entrez le nombre d'instances sur lesquelles le déploiement réplique le modèle.
      • Configuration de l'ajustement automatique (Facultatif) : Sélectionnez Activer l'ajustement automatique et entrez les informations suivantes.
        • Nombre minimal d'instances
        • Nombre maximal d'instances
        • Période de stabilisation en secondes
        • Type de mesure d'ajustement

          Pour utiliser l'option de mesure d'ajustement personnalisé, sélectionnez Personnalisé, puis spécifiez les interrogations d'augmentation et de réduction.

          Important

          Incluez le texte suivant dans chaque interrogation MQL pour référencer l'OCID de la ressource : {resourceId = "MODEL_DEPLOYMENT_OCID"}
        • Seuil de scale-in en pourcentage
        • Seuil d'augmentation de matériel en pourcentage
        • Options avancées (Facultatif) : Ajustez automatiquement l'équilibreur de charge. Définissez la valeur de la bande passante maximale pour qu'elle soit supérieure à la valeur de la bande passante minimale et qu'elle ne dépasse pas deux fois la valeur de la bande passante minimale.
          • Nombre d'instances à retirer
          • Nombre d'instances à ajouter
      • Ressources de réseau : Sélectionnez l'option pertinente.
        • Réseau par défaut : Restreint le trafic vers les services Oracle uniquement. Le système utilise le réseau géré par le service existant. La charge de travail est attachée à l'aide d'une carte VNIC secondaire à un VCN et à un sous-réseau préconfigurés gérés par le service. Ce sous-réseau donne accès à l'Internet public par l'intermédiaire d'une passerelle NAT et à d'autres services Oracle Cloud par l'intermédiaire d'une passerelle de service.

          Si vous avez besoin d'un accès uniquement à l'Internet public et aux services OCI, nous vous recommandons d'utiliser cette option. Vous n'avez pas besoin de créer des ressources de réseau ni d'écrire des politiques pour les autorisations de réseau.

        • Réseau par défaut avec Internet : Autorise l'accès Internet sortant au moyen de la passerelle NAT du service de science des données.
          Note

          Vous ne pouvez pas utiliser le réseau par défaut avec Internet dans des domaines déconnectés et des locations de développement Oracle. Si votre location ou compartiment a une politique de zone de sécurité du service de science des données qui refuse l'accès au réseau public (par exemple, deny model_deploy_public_network—voir Politique de zone de sécurité du service de science des données), l'option d'accès à l'Internet public géré par le service est désactivée. Si vous essayez d'utiliser cette option, vous recevez une erreur 404 NotAuthorizedOrNotFound.
        • Réseau personnalisé : Sélectionnez le VCN et le sous-réseau (par compartiment) à utiliser.

          Pour l'accès sortant à l'Internet public, utilisez un sous-réseau privé avec une route vers une passerelle NAT.

          Note

          • Le réseau personnalisé doit être utilisé pour utiliser un montage de stockage de fichiers.
          • Le passage d'un réseau personnalisé à un réseau géré n'est pas pris en charge après la création.
          • Si la bannière The specified subnet is not accessible. Select a different subnet. s'affiche, créez une politique qui permet au service de science des données d'utiliser un réseau personnalisé. Voir Politiques.
      • Type de point d'extrémité : Sélectionnez l'option pertinente.
        • Point d'extrémité public : Permet l'accès aux données à une instance gérée à partir d'un réseau en nuage virtuel (VCN).
        • Point d'extrémité privé : Spécifie le point d'extrémité privé à utiliser pour le déploiement de modèle. Les déploiements qui utilisent un réseau privé ou des points d'extrémité privés ne peuvent pas activer l'accès à Internet public géré par le service.
          • Compartiment du point d'extrémité privé
          • Point d'extrémité privé
      • Journalisation (Facultatif) : Sélectionnez Sélectionner pour ouvrir le panneau Sélectionner la journalisation, entrez les informations suivantes, puis sélectionnez Soumettre pour fermer le panneau.
        Note

        La journalisation nécessite un accès configuré ou une journalisation prédictive.
        • Pour les journaux d'accès, sélectionner un compartiment, un groupe de journaux et un nom de journal.
        • Pour les journaux de prévision, sélectionner un compartiment, un groupe de journaux et un nom de journal.
      • Définissez votre environnement BYOC (sous Utiliser une image de conteneur personnalisée) (Facultatif) : Sélectionnez Sélectionner pour ouvrir le panneau Définir votre environnement BYOC, entrez les informations suivantes et sélectionnez de nouveau Sélectionner pour fermer le panneau.
        • Compartiment de référentiel
        • Référentiel : Entrez le référentiel qui contient l'image personnalisée.
        • Image : Entrez l'image personnalisée à utiliser lors de l'exécution.
        • Digeste : Entrez le condensé de l'image. Par exemple : sha256:<digest>. Le condensé doit correspondre à l'image exacte que vous déployez.
        • Point d'entrée : Entrez un ou plusieurs fichiers de point d'entrée à exécuter au démarrage du conteneur, par exemple /opt/script/entrypoint.sh. N'utilisez pas de guillemets à la fin.
        • Port du serveur : Entrez le port du serveur Web d'inférence. La valeur par défaut est 8080. Intervalle valide : 1024-65535, sauf 24224, 8446, 8447.
        • Port de vérification de l'état : Entrez le port de vérification de l'état du conteneur. La valeur par défaut est le port du serveur. Intervalle valide : 1024-65535, sauf 24224, 8446, 8447.
      • Mode de déploiement (sous Options avancées) (Facultatif) : Sélectionnez la bande passante d'équilibrage de charge en Mbps ou utilisez la valeur par défaut de 10 Mbps.

        Conseils pour l'équilibrage de charge

        Si vous connaissez la taille commune des données utiles et la fréquence des demandes par seconde, vous pouvez utiliser la formule suivante pour évaluer la bande passante de l'équilibreur de charge dont vous avez besoin. Nous vous recommandons d'ajouter un supplément de 20 % pour prendre en compte les erreurs d'estimation et le trafic de pointe sporadique.

        (Taille des données utiles en Ko) * (Demandes estimées par seconde) * 8 / 1 024

        Par exemple, si les données utiles sont de 1 024 Ko et que vous estimez 120 demandes par seconde, la bande passante recommandée pour l'équilibreur de charge serait (1024 * 120 * 8 / 1024) * 1,2 = 1152 Mbps.

        N'oubliez pas que la taille maximale des données utiles prise en charge est de 10 Mo lors du traitement des données utiles d'image.

        Si la taille des données utiles de la demande est supérieure à la bande passante affectée de l'équilibreur de charge défini, la demande est rejetée avec un code de statut 429.

      • Marqueurs (sous Options avancées) (Facultatif) : Ajoutez des marqueurs au déploiement de modèle. Si vous êtes autorisé à créer une ressource, vous pouvez également appliquer des marqueurs à structure libre à cette ressource. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.
    5. Sélectionnez Créer.

  • Utilisez la commande oci data-science model-deployment create et les paramètres requis pour créer un déploiement de modèle :

    oci data-science model-deployment create --compartment-id <compartment-id> ... [OPTIONS]

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface de ligne de commande.

  • Utilisez l'opération CreateModelDeployment pour créer un déploiement de modèle.