Création d'un travail
Créez et exécutez un travail dans Data Science.
Assurez-vous que vous avez créé les stratégies, l'authentification et l'autorisation nécessaires pour vos travaux.
Avant de commencer :
-
Créez un fichier d'artefact de travail ou créez un conteneur personnalisé.
-
Pour stocker et gérer les journaux de travail, apprenez-en plus sur la journalisation.
-
Pour utiliser les montages de stockage, vous devez disposer d'un bucket Object Storage ou d'une cible de montage et d'un chemin d'export OCI File Storage Service (FSS).
Pour utiliser FSS, vous devez d'abord créer le système de fichiers et le point de montage. Utilisez l'option de mise en réseau personnalisée et assurez-vous que la cible de montage et le bloc-notes sont configurés avec le même sous-réseau. Configurez des règles de liste de sécurité pour le sous-réseau avec les ports et protocoles spécifiques.
Assurez-vous que les limites de service sont allouées à
file-system-count
et àmount-target-count
. -
Pour utiliser les montages de stockage, vous devez disposer d'un bucket Object Storage ou d'un point de montage OCI File Storage Service (FSS).
Ajoutez des informations de base pour le travail que vous créez. - Sur la page de liste des travaux, sélectionnez Créer un travail. Si vous avez besoin d'aide pour trouver la liste des travaux, reportez-vous à Liste des travaux.
- Sélectionnez Noeud unique si vous utilisez une seule machine pour le travail ou Multinoeud pour les travaux exigeants qui doivent être exécutés sur plusieurs noeuds.
- (Facultatif) Sélectionnez un autre compartiment pour le travail.
- (Facultatif) Entrez le nom et la description du travail (limite de 255 caractères). Si vous n'indiquez aucun nom, un nom est automatiquement généré.
Par exemple,
job20210808222435
-
Etapes de configuration à noeud unique ou à noeuds multiples
- Si vous avez sélectionné Noeud unique, suivez les étapes de la section Utilisation de la console pour les travaux à noeud unique.
- Si vous avez sélectionné Plusieurs noeuds, suivez les étapes de la section Utilisation de la console pour les travaux à plusieurs noeuds.
Utilisation de la console pour les travaux à noeud uniqueUtilisation de la console pour les travaux à noeud unique
Etapes de configuration requises et facultatives pour un travail à noeud unique.
Etapes de configuration requises
Etapes de configuration requises spécifiques à la création d'un travail à noeud unique. -
Créez une configuration par défaut de travail utilisée lors de l'exécution du travail à l'aide de ces options.
Entrez ou sélectionnez l'une des valeurs suivantes :
- Clé de variable d'environnement personnalisée
-
Variables d'environnement qui contrôlent le travail.
Remarque
Si vous avez téléchargé un fichier ZIP ou TAR compressé, ajoutez
JOB_RUN_ENTRYPOINT
en tant que variable d'environnement personnalisée pour pointer vers le fichier. - Valeur
-
Valeur de la clé de variable d'environnement personnalisée.
Vous pouvez sélectionner Clé d'environnement personnalisé supplémentaire pour spécifier d'autres variables.
- Arguments de ligne de commande
-
Arguments de ligne de commande à utiliser pour exécuter le travail.
- Durée d'exécution maximale (en minutes)
-
Nombre maximal de minutes pendant lesquelles le travail peut être exécuté. Le service annule le traitement de travail si sa durée dépasse la valeur indiquée. La durée d'exécution maximale est de 30 jours (43 200 minutes). Nous vous recommandons de configurer une durée d'exécution maximale pour tous les traitements de travail afin d'éviter les blocages.
- Sélectionnez une forme de calcul.
- (Facultatif) Modifiez la forme de calcul en sélectionnant Modifier la forme. Suivez les étapes ci-dessous dans le panneau Sélectionner un calcul.
- Sélectionner un type d'instance.
- Sélectionnez une série de formes.
- Sélectionnez l'une des formes de calcul prises en charge dans la série.
-
Sélectionnez la forme qui convient le mieux à l'utilisation de la ressource.
Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est 1 Go ou une valeur correspondant au nombre d'OCPU, la valeur la plus élevée étant retenue.
-
Si vous utilisez des machines virtuelles éclatables, basculez sur Burstable.
Dans Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous souhaitez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %.
- Sélectionnez Sélectionner une forme.
- Dans Stockage, indiquez la quantité de stockage de blocs à utiliser entre 50 Go et 10, 240 Go (10 To). Vous pouvez modifier cette valeur par incrément de 1 Go.
-
Sélectionnez l'une des options suivantes pour configurer le type de réseau :
-
Mise en réseau par défaut : la charge de travail est attachée à l'aide d'une carte d'interface réseau virtuelle secondaire à un VCN et un sous-réseau préconfigurés et gérés par le service. Ce sous-réseau fourni permet la sortie vers le réseau Internet public par le biais d'une passerelle NAT et l'accès à d'autres services Oracle Cloud par le biais d'une passerelle de service.
Si vous avez besoin d'accéder uniquement au réseau Internet public et aux services OCI, nous vous recommandons d'utiliser cette option. Il n'est pas nécessaire de créer des ressources réseau ni d'écrire des stratégies pour les droits d'accès réseau.
-
Mise en réseau personnalisée : sélectionnez le VCN et le sous-réseau à utiliser pour le travail.
Pour l'accès sortant au réseau Internet public, utilisez un sous-réseau privé doté d'un routage vers une passerelle NAT.
Si vous ne voyez pas le VCN ou le sous-réseau à utiliser, cliquez sur Modifier le compartiment, puis sélectionnez le compartiment qui contient le VCN ou le sous-réseau.
Important
La mise en réseau personnalisée doit être utilisée pour utiliser un montage de stockage de fichiers
-
- Cette étape n'est facultative que si BYOC est configuré. Téléchargez l'artefact de travail en faisant glisser le fichier d'artefact de travail requis vers la zone.
- Sélectionnez Suivant.
Etapes de configuration facultatives
Etapes de configuration spécifiques à la création d'un travail à noeud unique. - (Facultatif) Pour utiliser la journalisation, sélectionnez Sélectionner, puis vérifiez que l'option Activer la journalisation est sélectionnée.
- Sélectionnez un groupe de journaux dans la liste. Vous pouvez passer à un autre compartiment pour indiquer un groupe de journaux qui n'est pas dans le même compartiment que le travail.
-
Sélectionnez l'une des options suivantes pour stocker tous les messages
stdout
etstderr
:- Activer la création automatique de journal
-
Data Science crée automatiquement un journal au démarrage du travail.
- Sélectionner un journal
-
Sélectionnez le journal à utiliser.
- Sélectionnez Sélectionner pour revenir à la page de création du traitement de travail.
- (Facultatif) Pour utiliser votre propre conteneur, dans la configuration d'environnement, sélectionnez Sélectionner.
Dans le panneau Définir votre environnement BYOC, procédez comme suit :
- Dans Référentiel, sélectionnez un référentiel dans la liste. Si le référentiel se trouve dans un autre compartiment, sélectionnez Modifier le compartiment.
- Dans Image, sélectionnez une image dans la liste.
- (Facultatif) Dans Point d'entrée, entrez un point d'entrée. Pour en ajouter un autre, sélectionnez paramètre +Add.
- (Facultatif) Dans CMD, saisissez un CMD. Pour en ajouter un autre, sélectionnez paramètre +Add.Remarque
Utilisez CMD comme arguments pour ENTRYPOINT ou comme seule commande à exécuter en l'absence de ENTRYPOINT. - (Facultatif) Dans Synthèse d'image, entrez une synthèse d'image.
- (Facultatif) Dans ID de signature, si vous utilisez la vérification de signature, entrez l'OCID de la signature d'image. Par exemple,
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab...
. - Sélectionnez Sélectionner.
- (Facultatif) Pour utiliser des montages de stockage, sélectionnez Montage de stockage +Add.
Assurez-vous que vous disposez de l'autorisation d'utilisation des montages de stockage.
- Sélectionnez un type de montage de stockage, OCI Object Storage ou OCI File Storage.
- Sélectionnez le compartiment qui contient la ressource de stockage à monter.
-
Sélectionnez l'un des éléments suivants :
- Object Storage
-
Si vous utilisez des fonctions de réseau personnalisées :
- Créez la passerelle de service dans le VCN.
- Pour les configurations de table de routage dans le sous-réseau privé, ajoutez la passerelle de service.
- Modifiez les règles sortantes de la liste de sécurité du sous-réseau requis pour autoriser le trafic vers tous les services du réseau.
Bucket à utiliser.
Vous pouvez ajouter un préfixe de nom d'objet. Le préfixe doit commencer par un caractère alphanumérique. Les caractères autorisés sont les caractères alphanumériques, la barre oblique ( / ), le trait d'union ( - ) et le trait de soulignement ( _ ).
- File Storage
-
Cible de montage et chemin d'export à utiliser. Vous devez avoir créé le système de fichiers. Spécifiez une cible de montage existante ou créez-en une nouvelle.
Vous devez utiliser un réseau personnalisé pour utiliser le stockage de fichiers.
Suivez les règles de liste de sécurité du sous-réseau.Remarque
Avant de monter un système de fichiers, vous devez configurer des règles de sécurité dans le sous-réseau VCN pour autoriser le trafic réseau vers et depuis la cible de montage. Vous pouvez configurer des règles de sécurité dans des listes de sécurité de sous-réseau, des groupes de sécurité réseau ou en utilisant une combinaison des deux. Pour plus d'informations, reportez-vous à Configuration des règles de sécurité de réseaux cloud virtuels pour File Storage.- Entrée avec protection de l'état sur les ports TCP 111, 2048, 2049 et 2050, et les ports UDP de 111 et 2048.
- Sortie avec conservation de statut pour les ports source TCP 111, 2048, 2049 et 2050, et UDP 111.
-
Entrez le chemin sous lequel le stockage doit être monté.
Le stockage est monté sous le chemin de montage spécifié. Le chemin doit commencer par un caractère alphanumérique. Le répertoire de destination doit être unique parmi les montages de stockage fournis. Les caractères autorisés sont les caractères alphanumériques, le trait d'union ( - ) et le trait de soulignement ( _ ).
Vous pouvez indiquer le chemin d'accès complet, par exemple
/opc/storage-directory
. Si seul un répertoire est spécifié, tel que/storage-directory
, il est monté sous le répertoire/mnt
par défaut. Vous ne pouvez pas indiquer de répertoires propres au système d'exploitation, tels que/bin
ou/etc
. -
Sélectionnez Soumettre.
Répétez ces étapes pour ajouter jusqu'à deux montages de stockage pour les sessions de bloc-notes.
-
Ajoutez une sonde de démarrage. Sélectionnez Sélectionner.
- Saisissez une commande.
- (Facultatif) Pour ajouter une autre commande, sélectionnez +Add, commande et répétez l'étape a.
- (Facultatif) Entrez une valeur pour le délai initial (en secondes).
- (Facultatif) Saisissez une valeur pour la période.
- (Facultatif) Entrez une valeur pour le seuil d'échec.
- Sélectionnez Save (Enregistrer).
- (Facultatif) Sélectionnez Afficher les options avancées pour ajouter des balises au travail.
- (Facultatif) Dans la section Balises, ajoutez des balises au travail. Si vous êtes autorisé à créer un travail, vous disposez également des droits d'accès permettant d'appliquer des balises à format libre à ce travail. Pour appliquer une balise définie, vous devez disposer des droits d'accès permettant d'utiliser l'espace de noms de balise. Pour plus d'informations sur le balisage, reportez-vous à Balises de ressource. Si vous n'êtes pas certain d'appliquer des balises, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des balises ultérieurement.
- Sélectionnez Suivant.
Vérifier et créer
Vérifiez et créez le travail. -
Vérifiez l'emploi.
Pour mettre à jour une partie de la configuration du travail, sélectionnez Modifier dans la section appropriée.
-
Lorsque vous êtes satisfait de la configuration, sélectionnez Créer pour créer le travail.
Une fois que le travail est actif, vous pouvez utiliser des traitements de travail pour le lancer de façon répétée.
Utilisation de la console pour les travaux sur plusieurs noeudsUtilisation de la console pour les travaux sur plusieurs noeuds
Etapes de configuration requises et facultatives pour un travail sur plusieurs noeuds.
Etapes de configuration requises
Etapes de configuration requises spécifiques à la création d'un travail sur plusieurs noeuds. -
Sélectionnez l'une des options suivantes pour configurer le type de réseau :
-
Mise en réseau par défaut : la charge globale est attachée à l'aide d'une carte d'interface réseau virtuelle secondaire à un VCN et à un sous-réseau préconfigurés et gérés par le service. Ce sous-réseau fourni autorise l'accès au réseau Internet public via une passerelle NAT et l'accès à d'autres services Oracle Cloud via une passerelle de service.
Si vous avez besoin d'accéder uniquement au réseau Internet public et aux services OCI, nous vous recommandons d'utiliser cette option. Vous n'avez pas à créer de ressources réseau ou à écrire des stratégies pour les droits d'accès réseau.
-
Mise en réseau personnalisée : sélectionnez le VCN et le sous-réseau à utiliser pour le travail.
Pour l'accès sortant au réseau Internet public, utilisez un sous-réseau privé doté d'un routage vers une passerelle NAT.
Si vous ne voyez pas le VCN ou le sous-réseau à utiliser, cliquez sur Modifier le compartiment, puis sélectionnez le compartiment contenant le VCN ou le sous-réseau.
Important
La mise en réseau personnalisée doit être utilisée pour utiliser un montage de stockage de fichiers.
-
- Cette étape n'est facultative que si BYOC est configuré. Téléchargez l'artefact de travail en faisant glisser le fichier d'artefact de travail requis vers la zone.
- (Facultatif) Entrez l'exécution maximale (en minutes comprises entre 5 et 43200).
- Sélectionnez Ajouter un groupe de noeuds.
- Entrez un nom unique pour le groupe de noeuds.
- Entrez le nombre de répliques.
- Entrez le nombre minimum de répliques devant réussir.
- Dans Stockage, indiquez la quantité de stockage de blocs à utiliser entre 50 Go et 10, 240 Go (10 To). Vous pouvez modifier cette valeur par incrément de 1 Go.
- (Facultatif) Entrez la configuration par défaut :
- Entrez la clé de variable d'environnement personnalisée et une valeur correspondante.
- Sélectionnez +Additional clé d'environnement personnalisée pour ajouter une autre clé de variable d'environnement personnalisée et répétez l'étape a.
- Entrez les arguments des lignes de commande.
Remarque
Si vous avez téléchargé le fichier ZIP ou le fichier TAR compressé, ajoutezJOB_RUN_ENTRYPOINT
en tant que variable d'environnement personnalisée pour pointer vers le fichier. - Sélectionnez une forme de calcul.
- (Facultatif) Modifiez la forme de calcul en sélectionnant Modifier la forme. Ensuite, suivez les étapes ci-dessous dans le panneau Sélectionner un calcul.
- Sélectionner un type d'instance.
- Sélectionnez une série de formes.
- Sélectionnez l'une des formes de calcul prises en charge dans la série.
-
Sélectionnez la forme qui convient le mieux à l'utilisation de la ressource.
Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est 1 Go ou une valeur correspondant au nombre d'OCPU, la valeur la plus élevée étant retenue.
-
Si vous utilisez des machines virtuelles éclatables, basculez sur Burstable.
Dans Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous souhaitez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %.
- Sélectionnez Sélectionner une forme.
-
Pour utiliser Bring Your Own Container, dans la configuration de l'environnement, sélectionnez Select.
Dans le panneau Définir votre environnement BYOC, procédez comme suit :
- Dans Référentiel, sélectionnez un référentiel dans la liste. Si le référentiel se trouve dans un autre compartiment, sélectionnez Modifier le compartiment.
- Dans Image, sélectionnez une image dans la liste.
- (Facultatif) Dans Point d'entrée, entrez un point d'entrée. Pour en ajouter un autre, sélectionnez paramètre +Add.
- (Facultatif) Dans CMD, entrez un CMD. Pour en ajouter un autre, sélectionnez paramètre +Add.Remarque
Utilisez CMD comme arguments pour ENTRYPOINT ou en tant que seule commande à exécuter en l'absence de ENTRYPOINT. - (Facultatif) Dans Synthèse d'image, entrez une synthèse d'image.
- (Facultatif) Dans ID de signature, si vous utilisez la vérification de signature, entrez l'OCID de la signature d'image. Par exemple,
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab...
. - Sélectionnez Sélectionner.
-
Ajoutez une sonde de démarrage. Sélectionnez Sélectionner.
- Saisissez une commande.
- (Facultatif) Pour ajouter une autre commande, sélectionnez +Add, commande et répétez l'étape a.
- (Facultatif) Entrez une valeur pour le délai initial (en secondes).
- (Facultatif) Entrez la valeur de la période.
- (Facultatif) Entrez une valeur pour le seuil d'échec.
- Sélectionnez Enregistrer.
- Sélectionnez Ajouter.
- (Facultatif) Pour ajouter un autre groupe de noeuds, sélectionnez Ajouter un groupe de noeuds et répétez les étapes précédentes. Vous pouvez ajouter jusqu'à cinq groupes de noeuds.
- (Facultatif) Si vous avez plusieurs groupes de noeuds, indiquez l'ordre de démarrage du groupe de noeuds, en parallèle ou en séquence.
Etapes de configuration facultatives
Etapes de configuration facultatives lors de la création d'un travail sur plusieurs noeuds. - (Facultatif) Pour utiliser la journalisation, sélectionnez Sélectionner, puis vérifiez que l'option Activer la journalisation est sélectionnée.
- Sélectionnez un groupe de journaux dans la liste. Vous pouvez passer à un autre compartiment pour indiquer un groupe de journaux qui n'est pas dans le même compartiment que le travail.
-
Sélectionnez l'une des options suivantes pour stocker tous les messages
stdout
etstderr
:- Activer la création automatique de journal
-
Data Science crée automatiquement un journal au démarrage du travail.
- Sélectionner un journal
-
Sélectionnez le journal à utiliser.
- Sélectionnez Sélectionner pour revenir à la page De création d'exécution de travail.
- (Facultatif) Pour utiliser des montages de stockage, sélectionnez +Add storage mount.
Assurez-vous que vous disposez de l'autorisation d'utilisation des montages de stockage.
- Sélectionnez un type de montage de stockage, OCI Object Storage ou OCI File Storage.
- Sélectionnez un compartiment qui contient la ressource de stockage à monter.
-
Sélectionnez l'un des éléments suivants :
- Object Storage
-
Si vous utilisez des fonctions de réseau personnalisées :
- Créez la passerelle de service dans le VCN.
- Pour les configurations de table de routage dans le sous-réseau privé, ajoutez la passerelle de service.
- Modifiez les règles sortantes de la liste de sécurité du sous-réseau requis pour autoriser le trafic vers tous les services du réseau.
Bucket que vous voulez utiliser.
Vous pouvez ajouter un préfixe de nom d'objet. Le préfixe doit commencer par un caractère alphanumérique. Les caractères autorisés sont les caractères alphanumériques, la barre oblique ( / ), le trait d'union ( - ) et le trait de soulignement ( _ ).
- Stockage de fichiers
-
Cible de montage et chemin d'export à utiliser. Vous devez avoir créé le système de fichiers. Spécifiez une cible de montage existante ou créez-en une nouvelle.
Vous devez utiliser un réseau personnalisé pour utiliser le stockage de fichiers.
Suivez les règles de liste de sécurité du sous-réseau.Remarque
Avant de monter un système de fichiers, vous devez configurer des règles de sécurité dans le sous-réseau VCN pour autoriser le trafic réseau vers et depuis la cible de montage. Vous pouvez configurer des règles de sécurité dans des listes de sécurité de sous-réseau, des groupes de sécurité réseau ou en utilisant une combinaison des deux. Pour plus d'informations, reportez-vous à Configuration des règles de sécurité de réseaux cloud virtuels pour File Storage.- Entrée avec protection de l'état sur les ports TCP 111, 2048, 2049 et 2050, et les ports UDP (111 et 2048).
- Sortie avec conservation de statut pour les ports source TCP 111, 2048, 2049 et 2050, et UDP 111.
-
Entrez le chemin sous lequel le stockage doit être monté.
Le stockage est monté sous le chemin de montage spécifié. Le chemin doit commencer par un caractère alphanumérique. Le répertoire de destination doit être unique dans les montages de stockage fournis. Les caractères autorisés sont les caractères alphanumériques, le tiret ( - ) et le trait de soulignement ( _ ).
Vous pouvez indiquer le chemin complet, tel que
/opc/storage-directory
. Si seul un répertoire est indiqué, tel que/storage-directory
, il est monté sous le répertoire/mnt
par défaut. Vous ne pouvez pas indiquer de répertoires spécifiques au système d'exploitation, tels que/bin
ou/etc
. -
Sélectionnez Soumettre.
Répétez ces étapes pour ajouter jusqu'à deux montages de stockage pour les sessions de bloc-notes.
- (Facultatif) Sélectionnez Afficher les options avancées pour ajouter des balises au travail.
- (Facultatif) Dans la section Balises, ajoutez des balises au travail. Si vous êtes autorisé à créer un travail, vous disposez également des droits d'accès permettant d'appliquer des balises à format libre à ce travail. Pour appliquer une balise définie, vous devez disposer des droits d'accès permettant d'utiliser l'espace de noms de balise. Pour plus d'informations sur le balisage, reportez-vous à Balises de ressource. Si vous n'êtes pas certain d'appliquer des balises, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des balises ultérieurement.
- Sélectionnez Suivant.
Vérifier et créer
Vérifiez et créez le travail. -
Vérifiez l'emploi.
Pour mettre à jour une partie de la configuration du travail, sélectionnez Modifier dans la section appropriée.
-
Lorsque vous êtes satisfait de la configuration, sélectionnez Créer pour créer le travail.
Une fois que le travail est actif, vous pouvez utiliser des traitements de travail pour le lancer de façon répétée.
Ces variables d'environnement contrôlent le travail.
Utilisez l'interface de ligne de commande Data Science pour créer un travail, comme dans l'exemple suivant :
-
Créez un travail :
oci data-science job create \ --display-name <job_name>\ --compartment-id <compartment_ocid>\ --project-id <project_ocid> \ --configuration-details file://<jobs_configuration_json_file> \ --infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \ --log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>
-
Utilisez le fichier JSON de configuration des travaux suivant :
{ "jobType": "DEFAULT", "maximumRuntimeInMinutes": 240, "commandLineArguments" : "test-arg", "environmentVariables": { "SOME_ENV_KEY": "some_env_value" } }
-
Utilisez le fichier JSON de configuration d'infrastructure des travaux suivant :
{ "jobInfrastructureType": "STANDALONE", "shapeName": "VM.Standard2.1", "blockStorageSizeInGBs": "50", "subnetId": "<subnet_ocid>" }
- (Facultatif) Utilisez le fichier JSON de configuration de journalisation des travaux suivant :
{ "enableLogging": true, "enableAutoLogCreation": true, "logGroupId": "<log_group_ocid>" }
-
Téléchargez vers le serveur un fichier d'artefact pour le travail que vous avez créé :
oci data-science job create-job-artifact \ --job-id <job_ocid> \ --job-artifact-file <job_artifact_file_path> \ --content-disposition "attachment; filename=<job_artifact_file_name>"
-
Créez un travail :
Le kit SDK ADS est également une bibliothèque Python publique que vous pouvez installer avec la commande suivante :
pip install oracle-ads
Il fournit le wrapper qui facilite la création et l'exécution de travaux à partir de blocs-notes ou sur l'ordinateur client.
Utilisez le SDK ADS pour créer et exécuter des travaux.