Documentation Oracle Cloud Infrastructure

Création d'une tâche OCI Data Flow

Une tâche OCI Data Flow dans Data Integration est associée à une application existante créée dans OCI Data Flow.

Avant de créer une tâche OCI Data Flow, assurez-vous que vous disposez des stratégies, de la configuration et des informations requises pour utiliser les tâches OCI Data Flow dans Data Integration, comme décrit dans Stratégies et configuration requises.

Créez une tâche OCI Data Flow dans un projet ou un dossier. Data Integration inclut un projet par défaut pour vous lancer. Pour créer un autre projet ou dossier, reportez-vous à la rubrique Projets et dossiers.

Dans Data Integration, par défaut, vous pouvez avoir des exécutions de tâche simultanées ou parallèles d'une tâche à un moment donné. Pour interdire les exécutions de tâche simultanées lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées sont interdites, une demande d'exécution pour la tâche échoue si une exécution de tâche en cours est déjà dans un état non terminal.

Remarque

Considérations relatives à l'utilisation des formes flexibles :

  • Lorsque vous utilisez une forme flexible (telle que VM.Standard.E4.Flex) pour le noeud de pilote, le noeud d'exécuteur ou les deux, personnalisez le nombre d'OCPU et la quantité de mémoire dont vous avez besoin.

  • Une forme flexible fournit une plage spécifique de valeurs d'OCPU que vous pouvez utiliser pour cette forme.

  • Le nombre d'OCPU que vous utilisez pour une forme détermine la plage de valeurs de mémoire que vous pouvez allouer.

  • Si vous paramétrez la forme du pilote ou de l'exécuteur, les OCPU et la mémoire doivent être configurées pour la forme. Les valeurs des OCPU et de la mémoire sont utilisées uniquement lorsque la valeur du paramètre de forme est une forme flexible. Les OCPU et les valeurs de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre.

    1. Sur la page Tâches du projet ou du dossier dans lequel créer une tâche, sélectionnez Créer une tâche, puis OCI Data Flow. Si vous avez besoin d'aide pour trouver la page Tâches dans un projet ou un dossier, reportez-vous à Liste des tâches.
    2. Sur la page Créer une tâche OCI Data Flow, saisissez un nom et, éventuellement, une description.

      L'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur, mais une fois que vous avez créé et enregistré la tâche, vous ne pouvez plus mettre à jour l'identificateur.

    3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions simultanées de cette tâche.
    4. (Facultatif) Dans Projet ou dossier, cliquez sur Sélectionner, puis sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    5. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : crée et enregistre la tâche. Vous pouvez poursuivre la création et la modification de la tâche.

      • Créer et fermer : permet de créer et d'enregistrer la tâche, de fermer la page et de revenir à la liste des tâches sur la page des détails du projet ou du dossier.

    6. Enregistrez régulièrement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : valide les modifications apportées depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : valide les modifications, ferme la page et retourne à la liste des tâches sur la page des détails du projet ou du dossier.

      • Enregistrer sous : valide les modifications (depuis le dernier enregistrement) et les enregistre dans une copie au lieu d'écraser la tâche en cours. Vous pouvez fournir un nom pour la copie et sélectionner un autre projet ou dossier pour la copie, ou enregistrer la copie dans le même projet ou dossier que la tâche existante.

    7. Dans la section Application OCI Data Flow, cliquez sur Sélectionner et sélectionnez l'application OCI Data Flow que cette tâche exécute en procédant comme suit :
      1. Sur la page Sélectionner une application OCI Data Flow, sélectionnez le compartiment contenant l'application à associer à la tâche.
      2. Dans la liste Applications, sélectionnez l'application.
      3. Cliquez sur Sélectionner.

        Vous revenez à la page Créer une tâche OCI Data Flow.

    8. Dans la section Configurer les propriétés, sélectionnez Configurer pour configurer les propriétés de l'application sélectionnée.

      La page Configuration s'affiche.

      1. (Facultatif) Dans la section Paramètres scalaires, créez les paramètres scalaires à utiliser pour spécifier des arguments dans le champ de propriété Arguments.

        • Sélectionnez Ajouter des paramètres scalaires pour créer un paramètre scalaire. Dans le panneau qui apparaît, entrez un nom, une description facultative et sélectionnez un type de données dans la liste des types pris en charge. Selon le type de données sélectionné, il peut y avoir d'autres champs à renseigner. Par exemple, un type VARCHAR inclut le champ Longueur.

          Définissez une valeur par défaut pour ce paramètre scalaire, puis sélectionnez Ajouter. Le panneau se ferme et la page Configuration complète réapparaît.

          Après la création d'un paramètre scalaire, seule la valeur par défaut peut être modifiée lors de la conception ou de l'exécution.

        • Sélectionnez Afficher les paramètres scalaires pour afficher la liste des paramètres scalaires déjà créés et disponibles pour utilisation dans cette tâche. Dans le panneau qui apparaît, notez le nom du paramètre scalaire que vous souhaitez utiliser.
      2. Indiquez directement les valeurs de propriété suivantes ou paramétrez les propriétés (avec des valeurs par défaut). Si vous ne configurez pas explicitement les propriétés des applications à cette étape, les valeurs par défaut définies dans l'application OCI Data Flow sont utilisées.

        • Forme de pilote : sélectionnez le type de noeud de cluster à utiliser pour l'hôte de pilote Spark.

          Si une forme flexible est sélectionnée, sélectionnez le nombre d'OCPU et la quantité de mémoire pouvant être allouée à la forme sélectionnée. Les valeurs acceptables pour les OCPU dépendent de la forme sélectionnée. Les valeurs acceptables pour la mémoire dépendent de la valeur d'OCPU sélectionnée.

        • Forme d'exécuteur : sélectionnez le type de noeud de cluster à utiliser pour chaque hôte d'exécuteur Spark.

          Si une forme flexible est sélectionnée, sélectionnez le nombre d'OCPU et la quantité de mémoire pouvant être allouée à la forme sélectionnée. Les valeurs acceptables pour les OCPU dépendent de la forme sélectionnée. Les valeurs acceptables pour la mémoire dépendent de la valeur d'OCPU sélectionnée.

        • Nombre d'exécuteurs : entrez le nombre de noeuds de cluster d'exécuteur Spark à lancer lorsque l'application OCI Data Flow est exécutée.

        • Arguments : entrez une liste des arguments, séparés par des virgules, à transmettre à la classe principale de l'application Java, Python ou Scala.

          Pour utiliser un paramètre scalaire dans le champ, entrez la syntaxe ${PARAMETER_NAME} pour un paramètre, ou une liste séparée par des virgules si vous ajoutez plusieurs paramètres. Par exemple : ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Vous ne pouvez pas paramétrer la propriété Arguments si elle utilise des paramètres scalaires pour les valeurs d'argument paramétrées. Pour paramétrer la propriété, supprimez les paramètres scalaires dans le champ.

      3. Pour affecter des paramètres aux valeurs de propriété, procédez comme suit :

        1. Sélectionnez Affecter une propriété en regard d'une propriété.

          Si vous paramétrez la forme du pilote ou de l'exécuteur, les OCPU et la mémoire doivent être configurées pour la forme. Les valeurs des OCPU et de la mémoire sont utilisées uniquement lorsque la valeur du paramètre de forme est une forme flexible. Les OCPU et les valeurs de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre.

          Remarque

          Vous ne pouvez pas paramétrer la propriété Arguments si elle utilise des paramètres scalaires. Pour paramétrer la propriété, enlevez ${PARAMETER_NAME} dans le champ, puis sélectionnez Affecter un paramètre.

        2. Sur la page Affecter des paramètres, effectuez l'une des actions suivantes :

          • Sélectionnez un paramètre dans la liste. Seuls les paramètres du même type de propriété apparaissent dans la liste pour sélection.
          • Sélectionnez Ajouter un paramètre. Dans le panneau Ajouter un param., entrez un nom (identifiant) et une description (facultative). Ensuite, selon le type de propriété, sélectionnez la valeur par défaut ou entrez la valeur par défaut de la propriété, puis sélectionnez Ajouter. Le paramètre ajouté est automatiquement sélectionné sur la page Affecter des paramètres.

        3. Sélectionnez Affecter.

          Si vous paramétrez les OCPU et les valeurs de mémoire pour une forme flexible, Data Integration affiche un message d'erreur lorsque vous indiquez une valeur qui ne se trouve pas dans la plage de valeurs acceptable pour cette propriété. Modifiez le paramètre et entrez l'une des valeurs acceptables.

      4. (Facultatif) Pour Propriétés de configuration Spark, ajoutez une paire de clés pour une propriété. Sélectionnez Autre propriété si vous devez ajouter d'autres paires de clés.

        Les propriétés de configuration Spark que vous pouvez ajouter peuvent dépendre de la version Spark de l'application OCI Data Flow sélectionnée. Reportez-vous à Propriétés Spark prises en charge.

      5. Lorsque vous avez terminé de configurer les propriétés d'application OCI Data Flow et les propriétés Spark, sélectionnez Terminé.

        Vous revenez à la page Créer une tâche OCI Data Flow.

        Dans la section Configurer les propriétés, le nombre de paramètres que vous avez affectés est indiqué entre parenthèses en regard de Visualiser les paramètres.

    9. (Facultatif) Sélectionnez Afficher les paramètres pour vérifier les paramètres affectés, modifier une valeur de paramètre par défaut ou supprimer un paramètre.

      Sur la page Visualiser les paramètres, modifiez une valeur par défaut ou supprimez un paramètre à l'aide du menu Actions (Menu Actions) du paramètre. Lorsque vous supprimez un paramètre, la valeur affectée au paramètre devient la valeur par défaut de cette propriété.

    10. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de propriété.
    11. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publication de la tâche OCI Data Flow vers une application dans Data Integration avant d'exécuter la tâche ou de programmer son exécution. Pour plus d'informations sur la publication, reportez-vous à Publication vers une application Data Integration.

  • Utilisez la commande OCI data-integration task create-task-from-dataflow-task et les paramètres requis pour créer une tâche OCI Data Flow :

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Afin d'obtenir la liste complète des indicateurs et des options de variable pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche OCI Data Flow.