Utiliser les réseaux par défaut

Créez un déploiement de modèle avec l'option de réseau par défaut.

La charge de travail est attachée à l'aide d'une carte VNIC secondaire à un VCN et à un sous-réseau préconfigurés gérés par le service. Ce sous-réseau donne accès à d'autres services Oracle Cloud au moyen d'une passerelle de service, mais pas à l'Internet public.

Si vous avez besoin d'accéder uniquement aux services OCI, nous vous recommandons d'utiliser cette option. Vous n'avez pas besoin de créer des ressources de réseau ni d'écrire des politiques pour les autorisations de réseau.

Vous pouvez créer et exécuter des déploiements de modèle de réseau par défaut à l'aide de la console, de la trousse SDK Python pour OCI, de l'interface de ligne de commande OCI ou de l'API du service de science des données.

1. Dans la page Déploiements de modèle, sélectionnez Créer un déploiement de modèle. Si vous avez besoin d'aide pour trouver la liste des déploiements de modèle, voir Liste des déploiements de modèle.
2. (Facultatif) Entrez un nom unique pour le modèle (255 caractères au maximum). Si vous ne fournissez pas de nom, un nom est automatiquement généré.
  
  Par exemple modeldeployment20200108222435.
3. (Facultatif) Entrez une description (limite de 400 caractères) pour le déploiement de modèle.
4. (Facultatif) Sous Configuration par défaut, entrez une clé de variable d'environnement personnalisée et la valeur correspondante. Sélectionnez + Clé d'environnement personnalisée supplémentaire pour ajouter d'autres variables d'environnement.
5. Dans la section Modèles, sélectionnez Sélectionner pour sélectionner un modèle actif à déployer dans le catalogue de modèles.
  
  Recherchez un modèle en utilisant le compartiment et le projet par défaut, ou en sélectionnant Utilisation de l'OCID et en recherchant le modèle en entrant son OCID.
  
  Sélectionnez le modèle.
  
  Sélectionnez Soumettre.
  
  Important
  
  Les artefacts de modèle qui dépassent 400 Go ne sont pas pris en charge pour le déploiement. Sélectionnez un artefact de modèle plus petit pour le déploiement.
6. (Facultatif) Modifiez la forme du service de calcul en sélectionnant Modifier la forme. Suivez ensuite ces étapes dans le panneau Sélectionner le service de calcul.
  
  Sélectionner un type d'instance.
  
  Sélectionnez une série de formes.
  
  Sélectionnez une des formes de calcul prises en charge dans la série.
  
  Sélectionnez la forme qui convient le mieux à l'utilisation souhaitée de la ressource.
  
  Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est de 1 Go ou une valeur correspondant au nombre d'OCPU, selon la valeur la plus élevée.
  
  Si vous utilisez des machines virtuelles à capacité extensible, activez/désactivez Burstable.
  Dans Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous voulez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %.
  
  Sélectionnez Sélectionner une forme.
7. Entrez le nombre d'instances sur lesquelles le déploiement réplique le modèle.
8. Sélectionnez Réseau par défaut pour configurer le type de réseau.
9. Sélectionnez l'une des options suivantes pour configurer le type de point d'extrémité :
  
  Public endpoint : Accès aux données dans une instance gérée à partir d'un VCN externe.
  
  Private endpoint : Point d'extrémité privé à utiliser pour le déploiement de modèle.
  
  Si vous avez sélectionné Private endpoint, sélectionnez Private Endpoint dans Point d'extrémité privé dans le service de science des données.
  Sélectionnez Changer de compartiment pour sélectionner le compartiment contenant le point d'extrémité privé.
10. (Facultatif) Si vous configurez la journalisation des accès ou des prédictions, dans la section Journalisation, sélectionnez Sélectionner, puis suivez les étapes suivantes :
  
  Pour les journaux d'accès, sélectionner un compartiment, un groupe de journaux et un nom de journal.
  
  Pour les journaux de prédiction, sélectionner un compartiment, un groupe de journaux et un nom de journal.
  
  Sélectionnez Soumettre.
11. (Facultatif) Sélectionnez Afficher les options avancées pour ajouter des marqueurs.
  
  (Facultatif) Sélectionnez le mode de service pour le déploiement de modèle, en tant que point d'extrémité HTTPS ou à l'aide d'un flux de service de diffusion en continu.
  
  (Facultatif) Sélectionnez la bande passante d'équilibrage de charge en Mbps ou utilisez la valeur par défaut de 10 Mbps.
  
  Conseils pour l'équilibrage de charge
  
  Si vous connaissez la taille commune des données utiles et la fréquence des demandes par seconde, vous pouvez utiliser la formule suivante pour évaluer la bande passante de l'équilibreur de charge dont vous avez besoin. Nous vous recommandons d'ajouter un supplément de 20 % pour prendre en compte les erreurs d'estimation et le trafic de pointe sporadique.
  
  (Taille des données utiles en Ko) * (Demandes estimées par seconde) * 8 / 1 024
  
  Par exemple, si les données utiles sont de 1 024 Ko et que vous estimez 120 demandes par seconde, la bande passante recommandée pour l'équilibreur de charge serait (1024 * 120 * 8 / 1024) * 1,2 = 1152 Mbps.
  
  N'oubliez pas que la taille maximale des données utiles prise en charge est de 10 Mo lors du traitement des données utiles d'image.
  
  Si la taille des données utiles de la demande est supérieure à la bande passante affectée de l'équilibreur de charge défini, la demande est rejetée avec un code de statut 429.
  
  (Facultatif) Sélectionnez Utiliser une image de conteneur personnalisée et entrez les informations suivantes :
  
  Référentiel dans <tenancy> : Référentiel qui contient l'image personnalisée.
  
  Image : Image personnalisée à utiliser dans le déploiement de modèle lors de l'exécution.
  
  CMD : Commandes supplémentaires à exécuter au démarrage du conteneur. Ajoutez une instruction par zone de texte. Par exemple, si CMD est ["--host", "0.0.0.0"], transmettez --host dans une zone de texte et 0.0.0.0 dans une autre. N'utilisez pas de guillemets à la fin.
  
  Point d'entrée : Un ou plusieurs fichiers de point d'entrée à exécuter au démarrage du conteneur. Par exemple /opt/script/entrypoint.sh. N'utilisez pas de guillemets à la fin.
  
  Port du serveur : Port sur lequel s'exécute le serveur Web servant l'inférence. La valeur par défaut est 8080. Le port peut être n'importe quoi entre 1024 et 65535. N'utilisez pas les ports 24224, 8446, 8447.
  
  Port de vérification de l'état : Port sur lequel le conteneur HEALTHCHECK écoute. Valeur par défaut du port du serveur. Le port peut être n'importe quoi entre 1024 et 65535. N'utilisez pas les ports 24224, 8446, 8447.
  
  (Facultatif) Dans la section Marqueurs, ajoutez un ou plusieurs marqueurs à <resourceType>. Si vous êtes autorisé à créer une ressource, vous disposez également des autorisations nécessaires pour appliquer des marqueurs de formulaire libre à cette ressource. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.
12. Sélectionnez Créer.

Vous pouvez utiliser l'interface de ligne de commande OCI pour créer un déploiement de modèle comme dans cet exemple.

Déployez le modèle avec :

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilisez ce fichier de configuration JSON de déploiement de modèle :

{
      "deploymentType": "SINGLE_MODEL",
      "modelConfigurationDetails": {
        "bandwidthMbps": <YOUR_BANDWIDTH_SELECTION>,
        "instanceConfiguration": {
          "instanceShapeName": "<YOUR_VM_SHAPE>"
        },
        "modelId": "<YOUR_MODEL_OCID>",
        "scalingPolicy": {
            "instanceCount": <YOUR_INSTANCE_COUNT>,
            "policyType": "FIXED_SIZE"
         }
     }
 }

Si vous spécifiez une configuration d'environnement, vous devez inclure l'objet environmentConfigurationDetails comme dans cet exemple :


{
  "modelDeploymentConfigurationDetails": {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad........",
      "instanceConfiguration": {
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "FIXED_SIZE",
        "instanceCount": 1
      },
      "bandwidthMbps": 10
    },
    "environmentConfigurationDetails" : {
      "environmentConfigurationType": "OCIR_CONTAINER",
      "image": "iad.ocir.io/testtenancy/image_name:1.0.0",
      "entrypoint": [
        "python",
        "/opt/entrypoint.py"
      ],
      "serverPort": "5000",
      "healthCheckPort": "5000"
    },
    "streamConfigurationDetails": {
      "inputStreamIds": null,
      "outputStreamIds": null
    }
  }
}

(Facultatif) Utilisez ce fichier de configuration JSON de journalisation :

{
    "access": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    },
    "predict": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    }
}

(Facultatif) Utilisez cette option pour utiliser un conteneur personnalisé :

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilisez l'opération CreateModelDeployment pour créer un déploiement de modèle.

Utilisation de la trousse SDK Python pour OCI

We've developed an OCI Python SDK model deployment example that includes authentication.

Important

Les artefacts supérieurs à 400 Go ne sont pas pris en charge pour le déploiement. Sélectionnez un artefact de modèle plus petit pour le déploiement.

Note

Vous devez mettre à niveau la trousse SDK pour OCI vers la version 2.3.0 ou ultérieure avant de créer un déploiement avec la trousse SDK Python. Utilisez la commande suivante :

pip install --upgrade oci

Utilisez cet exemple pour créer un déploiement de modèle qui utilise un conteneur personnalisé :

# create a model configuration details object
model_config_details = ModelConfigurationDetails(
    model_id=<model-id>,
    bandwidth_mbps=<bandwidth-mbps>,
    instance_configuration=<instance-configuration>,
    scaling_policy=<scaling-policy>
)
 
# create the container environment configiguration
environment_config_details = OcirModelDeploymentEnvironmentConfigurationDetails(
    environment_configuration_type="OCIR_CONTAINER",
    environment_variables={'key1': 'value1', 'key2': 'value2'},
    image="iad.ocir.io/testtenancy/ml_flask_app_demo:1.0.0",
    image_digest="sha256:243590ea099af4019b6afc104b8a70b9552f0b001b37d0442f8b5a399244681c",
    entrypoint=[
        "python",
        "/opt/ds/model/deployed_model/api.py"
    ],
    server_port=5000,
    health_check_port=5000
)
 
# create a model type deployment
single_model_deployment_config_details = data_science.models.SingleModelDeploymentConfigurationDetails(
    deployment_type="SINGLE_MODEL",
    model_configuration_details=model_config_details,
    environment_configuration_details=environment_config_details
)
 
# set up parameters required to create a new model deployment.
create_model_deployment_details = CreateModelDeploymentDetails(
    display_name=<deployment_name>,
    model_deployment_configuration_details=single_model_deployment_config_details,
    compartment_id=<compartment-id>,
    project_id=<project-id>
)

Exemples de carnets

Nous avons fourni des divers exemples de carnets qui montrent comment entraîner, préparer, enregistrer, déployer et appeler des déploiements de modèle.

Documentation sur Oracle Cloud Infrastructure

Utiliser les réseaux par défaut

Utilisation de la trousse SDK Python pour OCI

Exemples de carnets