Création d'un travail

Créez et exécutez un travail dans le service de science des données.

Assurez-vous d'avoir créé les politiques, authentification et autorisation nécessaires pour vos travaux.

Avant de commencer :

Créez un fichier d'artefact de travail ou créez un conteneur personnalisé.
Pour stocker et gérer des journaux de travail, voir À propos des journaux.
Pour utiliser des montages de stockage, vous devez avoir une cible de montage et un chemin d'exportation pour le seau de stockage d'objets ou le service de stockage de fichiers pour OCI.

Pour utiliser FSS, vous devez d'abord créer le système de fichiers et le point de montage. Utilisez l'option de réseau personnalisé et assurez-vous que la cible de montage et le carnet sont configurés avec le même sous-réseau. Configurez les règles de liste de sécurité pour le sous-réseau avec les ports et protocoles spécifiques.

Assurez-vous que les limites de service sont affectées à file-system-count et mount-target-count.
Pour utiliser des montages de stockage, vous devez disposer d'un seau de stockage d'objets ou d'un point de montage FSS (Service de stockage de fichiers pour OCI).

Ajoutez des informations de base pour le travail que vous créez.
1. Dans la page de liste des tâches, sélectionnez Créer une tâche. Si vous avez besoin d'aide pour trouver la liste des tâches, voir Liste des tâches.
2. Sélectionnez Noeud unique si vous utilisez une seule machine pour la tâche ou Plusieurs noeuds pour les tâches exigeantes qui doivent être exécutées sur plusieurs noeuds.
3. (Facultatif) Sélectionnez un autre compartiment pour le travail.
4. (Facultatif) Entrez un nom et une description pour le travail (255 caractères au maximum). Si vous ne fournissez pas de nom, un nom est automatiquement généré.
  
  Par exemple : job20210808222435
5. Étapes de configuration à un ou plusieurs noeuds
  
  Si vous avez sélectionné Noeud unique, suivez les étapes sous Utilisation de la console pour les tâches à noeud unique.
  
  Si vous avez sélectionné Plusieurs noeuds, suivez les étapes sous Utilisation de la console pour les tâches à plusieurs noeuds.
Utilisation de la console pour les tâches à noeud unique
Utilisation de la console pour les tâches à noeud unique

Étapes de configuration requises et facultatives pour une tâche de noeud unique.

Étapes de configuration requises

Étapes de configuration facultatives

Vérifier et créer

Étapes de configuration requises

Étapes de configuration requises propres à la création d'une tâche de noeud unique.

Créez une configuration de travail par défaut qui est utilisée lorsque le travail est exécuté à l'aide de ces options.

Entrez ou sélectionnez l'une des valeurs suivantes :

Clé de variable d'environnement personnalisée

Les variables d'environnement qui contrôlent le travail.

Note

Si vous avez chargé un fichier zip ou tar compressé, ajoutez la variable d'environnement personnalisée JOB_RUN_ENTRYPOINT pour pointer vers le fichier.

Valeur

Valeur de la clé de variable d'environnement personnalisée.

Vous pouvez sélectionner Clé d'environnement personnalisée supplémentaire pour spécifier d'autres variables.

Arguments de ligne de commande

Arguments de ligne de commande à utiliser pour exécuter le travail.

Délai d'exécution maximal (en minutes)

Nombre maximal de minutes pendant lesquelles le travail peut être exécuté. Le service annule l'exécution de travail si sa durée dépasse la valeur spécifiée. Le temps d'exécution maximal est de 30 jours (43 200 minutes). Nous vous recommandons de configurer un délai maximal afin d'éviter les exécutions de travail incontrôlées.

Sélectionnez une forme de calcul.
(Facultatif) Modifiez la forme du service de calcul en sélectionnant Modifier la forme. Suivez ensuite ces étapes dans le panneau Sélectionner le service de calcul.

Sélectionner un type d'instance.

Sélectionnez une série de formes.

Sélectionnez une des formes de calcul prises en charge dans la série.

Sélectionnez la forme qui convient le mieux à l'utilisation souhaitée de la ressource.

Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est de 1 Go ou une valeur correspondant au nombre d'OCPU, selon la valeur la plus élevée.

Si vous utilisez des machines virtuelles à capacité extensible, activez/désactivez Burstable.
Dans Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous voulez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %.

Sélectionnez Sélectionner une forme.

Pour Stockage, entrez la quantité de stockage par blocs à utiliser entre 50 Go et 10, 240 Go (10 To). Vous pouvez modifier la valeur par incréments de 1 Go.
Sélectionnez l'une des options suivantes pour configurer le type de réseau :

Réseau par défaut — La charge de travail est attachée à l'aide d'une carte VNIC secondaire à un VCN et à un sous-réseau préconfigurés gérés par le service. Ce sous-réseau donne accès à l'Internet public par l'intermédiaire d'une passerelle NAT et à d'autres services Oracle Cloud par l'intermédiaire d'une passerelle de service.

Si vous avez besoin d'un accès uniquement à l'Internet public et aux services OCI, nous vous recommandons d'utiliser cette option. Vous n'avez pas besoin de créer des ressources de réseau ni d'écrire des politiques pour les autorisations de réseau.

Réseau personnalisé — Sélectionnez le VCN et le sous-réseau à utiliser pour la tâche.

Pour l'accès sortant à l'Internet public, utilisez un sous-réseau privé avec une route vers une passerelle NAT.

Si vous ne voyez pas le VCN ou le sous-réseau à utiliser, cliquez sur Changer de compartiment, puis sélectionnez le compartiment qui contient le VCN ou le sous-réseau.

Important

Le réseau personnalisé doit être utilisé pour utiliser un montage de stockage de fichiers

Cette étape est facultative uniquement si BYOC est configuré. Chargez l'artefact de travail en faisant glisser le fichier d'artefact de travail requis dans la zone.
Sélectionnez Suivant.

Étapes de configuration facultatives

Étapes de configuration propres à la création d'une tâche de noeud unique.

(Facultatif) Pour utiliser la journalisation, sélectionnez Sélectionner, puis assurez-vous que l'option Activer la journalisation est sélectionnée.

Sélectionnez un groupe de journaux dans la liste. Vous pouvez passer à un autre compartiment pour spécifier un groupe de journaux dans un compartiment différent de celui du travail.

Sélectionnez l'une des options suivantes pour stocker tous les messages stdout et stderr :

Activer la création automatique des journaux

Le service de science des données crée automatiquement un journal au démarrage du travail.

Sélectionner un journal

Sélectionnez un journal à utiliser.

Sélectionnez Sélectionner pour retourner à la page de création de l'exécution de travail.

(Facultatif) Pour utiliser Utiliser son propre conteneur, dans la configuration de l'environnement, sélectionnez Sélectionner.
Dans le panneau Définir votre environnement BYOC, procédez comme suit :

Dans Référentiel, sélectionnez un référentiel dans la liste. Si le référentiel se trouve dans un autre compartiment, sélectionnez Changer de compartiment.

Dans Image, sélectionnez une image dans la liste.

(Facultatif) Dans Point d'entrée, entrez un point d'entrée. Pour en ajouter un autre, sélectionnez Paramètre +Add.

(Facultatif) Dans CMD, entrez un CMD. Pour en ajouter un autre, sélectionnez Paramètre +Add.
Note

Utilisez CMD comme arguments pour ENTRYPOINT ou la seule commande à exécuter en l'absence d'ENTRYPOINT.

(Facultatif) Dans Condensé d'image, entrez un condensé d'image.

(Facultatif) Dans ID signature, si vous utilisez la vérification de signature, entrez l'OCID de la signature d'image. Par exemple ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....

Sélectionnez Sélectionner.

(Facultatif) Pour utiliser des montages de stockage, sélectionnez +Add Montage de stockage.
Assurez-vous d'avoir l'autorisation d'utiliser des montages de stockage.

Sélectionnez un type de montage de stockage, OCI Object Storage ou OCI File Storage.

Sélectionnez un compartiment contenant la ressource de stockage que vous voulez monter.

Sélectionnez une des options suivantes :

Stockage d'objets

Si vous utilisez un réseau personnalisé :

Créez la passerelle de service dans le réseau VCN.

Pour les configurations de table de routage dans le sous-réseau privé, ajoutez la passerelle de service.

Modifiez les règles de trafic sortant de la liste de sécurité du sous-réseau requis pour autoriser le trafic vers tous les services du réseau.

Seau à utiliser.

Vous pouvez ajouter un préfixe de nom d'objet. Le préfixe doit commencer par un caractère alphanumérique. Les caractères autorisés sont les caractères alphanumériques, la barre oblique ( / ), le tiret ( - ) et le trait de soulignement ( _ ).

Stockage de fichiers

Cible de montage et chemin d'exportation à utiliser. Vous devez avoir créé le système de fichiers. Spécifiez une cible de montage existante ou créez-en une nouvelle.

Vous devez utiliser un réseau personnalisé pour utiliser le stockage de fichiers.

Suivez les règles de liste de sécurité du sous-réseau.
Note

Avant de monter un système de fichiers, vous devez configurer des règles de sécurité dans le sous-réseau VCN pour permettre le trafic réseau vers et depuis la cible de montage. Vous pouvez configurer des règles de sécurité dans des listes de sécurité de sous-réseau ou des groupes de sécurité de réseau, ou en utilisant une combinaison des deux. Pour plus d'informations, voir Configuration de règles de sécurité de réseau VCN pour le service de stockage de fichiers.

Trafic entrant avec état vers les ports TCP 111, 2048, 2049 et 2050, et les ports UDP 111 et 2048.

Trafic sortant avec état pour les ports TCP sources 111, 2048, 2049 et 2050, et le port UDP source 111.

Entrez le chemin sous lequel le stockage doit être monté.

Le stockage est monté sous le chemin de montage spécifié. Le chemin doit commencer par un caractère alphanumérique. Le répertoire de destination doit être unique parmi les montages de stockage fournis. Les caractères autorisés sont les caractères alphanumériques, le tiret ( - ) et le trait de soulignement ( _ ).

Vous pouvez spécifier le chemin complet, par exemple /opc/storage-directory. Si seul un répertoire est spécifié, par exemple /storage-directory, il est monté sous le répertoire /mnt par défaut. Vous ne pouvez pas spécifier des répertoires propres au système d'exploitation, tels que /bin ou /etc.

Sélectionnez Soumettre.

Répétez ces étapes pour ajouter jusqu'à deux montages de stockage pour les sessions de carnet.

Ajoutez une sonde de démarrage. Sélectionnez Sélectionner.

Entrez une commande.

(Facultatif) Pour ajouter une autre commande, sélectionnez +Add commande et répétez l'étape a.

(Facultatif) Entrez une valeur pour le délai initial (en secondes).

Entrez une valeur pour la période (facultatif).

(Facultatif) Entrez une valeur pour le seuil d'échec.

Sélectionnez enregistrer.

(Facultatif) Sélectionnez Afficher les options avancées pour ajouter des marqueurs au travail.
(Facultatif) Dans la section Marqueurs, ajoutez un ou plusieurs marqueurs à la tâche. Si vous êtes autorisé à créer une tâche, vous disposez également des autorisations nécessaires pour appliquer des marqueurs à structure libre à cette tâche. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.
Sélectionnez Suivant.

Vérifier et créer

Vérifiez et créez le travail.

Vérifiez le travail.
Pour mettre à jour une partie de la configuration de tâche, sélectionnez Modifier dans la section appropriée.

Lorsque vous êtes satisfait de la configuration, sélectionnez Créer pour créer la tâche.

Une fois le travail actif, vous pouvez utiliser les exécutions de travail pour l'exécuter à plusieurs reprises.
Utilisation de la console pour les tâches multinoeud
Utilisation de la console pour les tâches multinoeud

Étapes de configuration obligatoires et facultatives pour une tâche multinoeud.

Étapes de configuration requises

Étapes de configuration facultatives

Vérifier et créer

Étapes de configuration requises

Étapes de configuration requises propres à la création d'une tâche multinoeud.

Sélectionnez l'une des options suivantes pour configurer le type de réseau :

Réseau par défaut — La charge de travail est attachée à l'aide d'une carte VNIC secondaire à un VCN et à un sous-réseau préconfigurés gérés par le service. Ce sous-réseau donne accès à l'Internet public par l'intermédiaire d'une passerelle NAT et à d'autres services Oracle Cloud par l'intermédiaire d'une passerelle de service.

Si vous avez besoin d'un accès uniquement à l'Internet public et aux services OCI, nous vous recommandons d'utiliser cette option. Vous n'avez pas besoin de créer des ressources de réseau ni d'écrire des politiques pour les autorisations de réseau.

Réseau personnalisé — Sélectionnez le VCN et le sous-réseau à utiliser pour la tâche.

Pour l'accès sortant à l'Internet public, utilisez un sous-réseau privé avec une route vers une passerelle NAT.

Si vous ne voyez pas le VCN ou le sous-réseau à utiliser, cliquez sur Changer de compartiment, puis sélectionnez le compartiment qui contient le VCN ou le sous-réseau.

Important

Le réseau personnalisé doit être utilisé pour utiliser un montage de stockage de fichiers.

Cette étape est facultative uniquement si BYOC est configuré. Chargez l'artefact de travail en faisant glisser le fichier d'artefact de travail requis dans la zone.
(Facultatif) Entrez le temps d'exécution maximal (en minutes entre 5 et 43200).
Sélectionnez Ajouter un groupe de noeuds.
Entrez un nom unique pour le groupe de noeuds.
Entrez le nombre de répliques.
Entrez le nombre minimal de répliques qui doivent réussir.
Pour Stockage, entrez la quantité de stockage par blocs à utiliser entre 50 Go et 10, 240 Go (10 To). Vous pouvez modifier la valeur par incréments de 1 Go.
(Facultatif) Entrez la configuration par défaut :

Entrez la clé de variable d'environnement personnalisée et une valeur pour celle-ci.

Sélectionnez Clé d'environnement personnalisé +Additional pour ajouter une autre clé de variable d'environnement personnalisée et répéter l'étape a.

Entrez les arguments de ligne de commande.

Note

Si vous avez chargé un fichier zip ou tar compressé, ajoutez la variable d'environnement personnalisée JOB_RUN_ENTRYPOINT pour pointer vers le fichier.

Sélectionnez une forme de calcul.
(Facultatif) Modifiez la forme du service de calcul en sélectionnant Modifier la forme. Suivez ensuite ces étapes dans le panneau Sélectionner le service de calcul.

Sélectionner un type d'instance.

Sélectionnez une série de formes.

Sélectionnez une des formes de calcul prises en charge dans la série.

Sélectionnez la forme qui convient le mieux à l'utilisation souhaitée de la ressource.

Pour chaque OCPU, sélectionnez jusqu'à 64 Go de mémoire et un total maximal de 512 Go. La quantité minimale de mémoire autorisée est de 1 Go ou une valeur correspondant au nombre d'OCPU, selon la valeur la plus élevée.

Si vous utilisez des machines virtuelles à capacité extensible, activez/désactivez Burstable.
Dans Utilisation de référence par OCPU, sélectionnez le pourcentage d'OCPU que vous voulez généralement utiliser. Les valeurs prises en charge sont 12,5 % et 50 %.

Sélectionnez Sélectionner une forme.

Pour utiliser l'option Utiliser son propre conteneur, sélectionnez Sélectionner dans la configuration de l'environnement.
Dans le panneau Définir votre environnement BYOC, procédez comme suit :

Dans Référentiel, sélectionnez un référentiel dans la liste. Si le référentiel se trouve dans un autre compartiment, sélectionnez Changer de compartiment.

Dans Image, sélectionnez une image dans la liste.

(Facultatif) Dans Point d'entrée, entrez un point d'entrée. Pour en ajouter un autre, sélectionnez Paramètre +Add.

(Facultatif) Dans CMD, entrez un CMD. Pour en ajouter un autre, sélectionnez Paramètre +Add.
Note

Utilisez CMD comme arguments pour ENTRYPOINT ou la seule commande à exécuter en l'absence d'ENTRYPOINT.

(Facultatif) Dans Condensé d'image, entrez un condensé d'image.

(Facultatif) Dans ID signature, si vous utilisez la vérification de signature, entrez l'OCID de la signature d'image. Par exemple ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....

Sélectionnez Sélectionner.

Ajoutez une sonde de démarrage. Sélectionnez Sélectionner.

Entrez une commande.

(Facultatif) Pour ajouter une autre commande, sélectionnez +Add commande et répétez l'étape a.

(Facultatif) Entrez une valeur pour le délai initial (en secondes).

Entrez une valeur pour la période (facultatif).

(Facultatif) Entrez une valeur pour le seuil d'échec.

Sélectionnez enregistrer.

Sélectionnez Ajouter.
(Facultatif) Pour ajouter un autre groupe de noeuds, sélectionnez Ajouter un groupe de noeuds et répétez les étapes précédentes. Vous pouvez ajouter jusqu'à cinq groupes de noeuds.
(Facultatif) Si vous avez plusieurs groupes de noeuds, spécifiez l'ordre de démarrage du groupe de noeuds, en parallèle ou en séquence.

Étapes de configuration facultatives

Étapes de configuration facultatives lors de la création d'une tâche multinoeud.

(Facultatif) Pour utiliser la journalisation, sélectionnez Sélectionner, puis assurez-vous que l'option Activer la journalisation est sélectionnée.

Sélectionnez un groupe de journaux dans la liste. Vous pouvez passer à un autre compartiment pour spécifier un groupe de journaux dans un compartiment différent de celui du travail.

Sélectionnez l'une des options suivantes pour stocker tous les messages stdout et stderr :

Activer la création automatique des journaux

Le service de science des données crée automatiquement un journal au démarrage du travail.

Sélectionner un journal

Sélectionnez un journal à utiliser.

Sélectionnez Sélectionner pour retourner à la page de création de l'exécution de travail.

(Facultatif) Pour utiliser des montages de stockage, sélectionnez +Add Montage de stockage.
Assurez-vous d'avoir l'autorisation d'utiliser des montages de stockage.

Sélectionnez un type de montage de stockage, OCI Object Storage ou OCI File Storage.

Sélectionnez un compartiment contenant la ressource de stockage que vous voulez monter.

Sélectionnez une des options suivantes :

Stockage d'objets

Si vous utilisez un réseau personnalisé :

Créez la passerelle de service dans le réseau VCN.

Pour les configurations de table de routage dans le sous-réseau privé, ajoutez la passerelle de service.

Modifiez les règles de trafic sortant de la liste de sécurité du sous-réseau requis pour autoriser le trafic vers tous les services du réseau.

Seau à utiliser.

Vous pouvez ajouter un préfixe de nom d'objet. Le préfixe doit commencer par un caractère alphanumérique. Les caractères autorisés sont les caractères alphanumériques, la barre oblique ( / ), le tiret ( - ) et le trait de soulignement ( _ ).

Stockage de fichiers

Cible de montage et chemin d'exportation à utiliser. Vous devez avoir créé le système de fichiers. Spécifiez une cible de montage existante ou créez-en une nouvelle.

Vous devez utiliser un réseau personnalisé pour utiliser le stockage de fichiers.

Suivez les règles de liste de sécurité du sous-réseau.
Note

Avant de monter un système de fichiers, vous devez configurer des règles de sécurité dans le sous-réseau VCN pour permettre le trafic réseau vers et depuis la cible de montage. Vous pouvez configurer des règles de sécurité dans des listes de sécurité de sous-réseau ou des groupes de sécurité de réseau, ou en utilisant une combinaison des deux. Pour plus d'informations, voir Configuration de règles de sécurité de réseau VCN pour le service de stockage de fichiers.

Trafic entrant avec état vers les ports TCP 111, 2048, 2049 et 2050, et les ports UDP 111 et 2048.

Trafic sortant avec état pour les ports TCP sources 111, 2048, 2049 et 2050, et le port UDP source 111.

Entrez le chemin sous lequel le stockage doit être monté.

Le stockage est monté sous le chemin de montage spécifié. Le chemin doit commencer par un caractère alphanumérique. Le répertoire de destination doit être unique parmi les montages de stockage fournis. Les caractères autorisés sont les caractères alphanumériques, le tiret ( - ) et le trait de soulignement ( _ ).

Vous pouvez spécifier le chemin complet, par exemple /opc/storage-directory. Si seul un répertoire est spécifié, par exemple /storage-directory, il est monté sous le répertoire /mnt par défaut. Vous ne pouvez pas spécifier des répertoires propres au système d'exploitation, tels que /bin ou /etc.

Sélectionnez Soumettre.

Répétez ces étapes pour ajouter jusqu'à deux montages de stockage pour les sessions de carnet.

(Facultatif) Sélectionnez Afficher les options avancées pour ajouter des marqueurs au travail.
(Facultatif) Dans la section Marqueurs, ajoutez un ou plusieurs marqueurs à la tâche. Si vous êtes autorisé à créer une tâche, vous disposez également des autorisations nécessaires pour appliquer des marqueurs à structure libre à cette tâche. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.
Sélectionnez Suivant.

Vérifier et créer

Vérifiez et créez le travail.

Vérifiez le travail.
Pour mettre à jour une partie de la configuration de tâche, sélectionnez Modifier dans la section appropriée.

Lorsque vous êtes satisfait de la configuration, sélectionnez Créer pour créer la tâche.

Une fois le travail actif, vous pouvez utiliser les exécutions de travail pour l'exécuter à plusieurs reprises.

Ces variables d'environnement contrôlent le travail.

Utilisez l'interface de ligne de commande du service de science des données pour créer un travail comme dans l'exemple suivant :

Créez un travail avec :

oci data-science job create \
--display-name <job_name>\
--compartment-id <compartment_ocid>\
--project-id <project_ocid> \
--configuration-details file://<jobs_configuration_json_file> \
--infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \
--log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>

Utilisez ce fichier JSON de configuration de travaux :

{
  "jobType": "DEFAULT",
  "maximumRuntimeInMinutes": 240,
  "commandLineArguments" : "test-arg",
  "environmentVariables": {
    "SOME_ENV_KEY": "some_env_value" 
  }
}

Utilisez ce fichier JSON de configuration de l'infrastructure de travaux :

{
  "jobInfrastructureType": "STANDALONE",
  "shapeName": "VM.Standard2.1",
  "blockStorageSizeInGBs": "50",
  "subnetId": "<subnet_ocid>"
}

(Facultatif) Utilisez ce fichier JSON de configuration de journalisation des travaux :

{
  "enableLogging": true,
  "enableAutoLogCreation": true,
  "logGroupId": "<log_group_ocid>"
}

Chargez un fichier d'artefact de travail pour le travail que vous avez créé avec :

oci data-science job create-job-artifact \
--job-id <job_ocid> \
--job-artifact-file <job_artifact_file_path> \
--content-disposition "attachment; filename=<job_artifact_file_name>"

La trousse SDK ADS est également une bibliothèque Python publique que vous pouvez installer avec cette commande :
```
pip install oracle-ads
```
Elle fournit l'encapsuleur qui facilite la création et l'exécution des travaux à partir de carnets ou sur votre machine client.

Utilisez la trousse SDK ADS pour créer et exécuter des travaux.

Documentation sur Oracle Cloud Infrastructure

Création d'un travail

Utilisation de la console pour les tâches à noeud unique

Étapes de configuration requises

Étapes de configuration facultatives

Vérifier et créer

Utilisation de la console pour les tâches multinoeud

Étapes de configuration requises

Étapes de configuration facultatives

Vérifier et créer