Documentation sur Oracle Cloud Infrastructure

Création d'une tâche de flux de données OCI

Une tâche de flux de données OCI dans le service d'intégration de données est associée à une application existante créée dans le service de flux de données OCI.

Avant de créer une tâche de flux de données OCI, assurez-vous de disposer des politiques, de la configuration et des informations requises pour utiliser les tâches de flux de données OCI dans le service d'intégration de données, comme décrit sous Politiques et configuration requises.

Créez une tâche de flux de données OCI dans un projet ou un dossier. Data Integration inclut un projet par défaut pour vous aider à démarrer. Pour créer un autre projet ou dossier, voir Projets et dossiers.

Dans le service d'intégration de données, vous pouvez avoir par défaut des exécutions de tâche simultanées ou parallèles à un moment donné. Pour interdire les exécutions de tâches concurrentes lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées ne sont pas autorisées, une demande d'exécution de tâche échoue s'il existe déjà une exécution de tâche en cours qui est à l'état non terminal.

Note

Considérations relatives à l'utilisation flexible des formes :

  • Lorsque vous utilisez une forme flexible (telle que VM.Standard.E4.Flex) pour le noeud de pilote, le noeud d'exécuteur ou les deux, personnalisez le nombre d'OCPU et la quantité de mémoire dont vous avez besoin.

  • Une forme flexible fournit un intervalle spécifique de valeurs d'OCPU que vous pouvez utiliser pour cette forme.

  • Le nombre d'OCPU que vous utilisez pour une forme détermine l'intervalle de valeurs de mémoire que vous pouvez affecter.

  • Si vous paramétrez la forme du pilote ou de l'exécuteur, les OCPU et la mémoire doivent être configurées pour la forme. Les valeurs d'OCPU et de mémoire ne sont utilisées que lorsque la valeur du paramètre de forme est une forme flexible. Les valeurs d'OCPU et de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre.

    1. Dans la page Tâches du projet ou du dossier dans lequel vous voulez créer une tâche, sélectionnez Créer une tâche, puis sélectionnez Flux de données OCI. Si vous avez besoin d'aide pour trouver la page Tâches d'un projet ou d'un dossier, voir Liste des tâches.
    2. Dans la page Créer une tâche de flux de données, entrez un nom et une description facultative.

      L'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur mais, après avoir créé et enregistré la tâche, vous ne pouvez pas mettre à jour l'identificateur.

    3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions concurrentes de cette tâche.
    4. (Facultatif) Pour Projet ou dossier, cliquez sur Sélectionner et sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    5. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : Crée et enregistre la tâche. Vous pouvez continuer à créer et à modifier la tâche.

      • Créer et fermer : Crée et enregistre la tâche, ferme la page et vous ramène à la liste des tâches de la page des détails du projet ou du dossier.

    6. Enregistrez périodiquement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : Valide les modifications depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : Validation des modifications, fermeture de la page et retourne à la liste des tâches de la page des détails d'un projet ou d'un dossier.

      • Enregistrer sous : Valide les modifications (depuis le dernier enregistrement) et enregistre une copie, au lieu de remplacer la tâche courante. Vous pouvez indiquer un nom pour la copie et sélectionner un autre projet ou dossier pour celle-ci, ou l'enregistrer dans le même projet ou dossier que la tâche existante.

    7. Dans la section Application de flux de données OCI, cliquez sur Sélectionner et sélectionnez l'application de flux de données OCI que cette tâche exécute en suivant les étapes suivantes :
      1. Dans la page Sélectionner une application de flux de données OCI, sélectionnez le compartiment qui contient l'application à associer à la tâche.
      2. Dans la liste applications, sélectionnez l'application.
      3. Cliquez sur Sélectionner.

        Vous êtes retourné à la page Créer une tâche de flux de données OCI.

    8. Dans la section Configurer les propriétés, sélectionnez Configurer pour configurer les propriétés de l'application sélectionnée.

      La page Configuration s'affiche.

      1. (Facultatif) Dans la section Paramètres scalaires, créez les paramètres scalaires à utiliser pour spécifier des arguments dans le champ de propriété Arguments.

        • Sélectionnez Ajouter des paramètres scalaires pour créer un paramètre scalaire. Dans le panneau qui s'affiche, entrez un nom, une description facultative et sélectionnez un type de données dans la liste des types pris en charge. Selon le type de données sélectionné, il peut y avoir d'autres champs à remplir. Par exemple, un type VARCHAR inclut le champ Longueur.

          Définissez une valeur par défaut pour ce paramètre scalaire, puis sélectionnez Ajouter. Le panneau se ferme et la page Configuration complète réapparaît.

          Une fois un paramètre scalaire créé, seule la valeur par défaut peut être modifiée au moment de la conception ou de l'exécution.

        • Sélectionnez Voir les paramètres scalaires pour voir la liste des paramètres scalaires déjà créés et disponibles pour utilisation dans cette tâche. Dans le panneau qui s'affiche, notez le nom du paramètre scalaire que vous souhaitez utiliser.
      2. Spécifiez les valeurs de propriété suivantes directement ou paramétrez les propriétés (avec des valeurs par défaut). Si vous ne configurez pas explicitement les propriétés des applications à cette étape, les valeurs par défaut définies dans l'application de flux de données OCI sont utilisées.

        • Forme du pilote : Sélectionnez le type de noeud de grappe à utiliser pour l'hôte du pilote Spark.

          Si une forme flexible est sélectionnée, sélectionnez le nombre d'OCPU et la quantité de mémoire pouvant être affectée à la forme sélectionnée. Les valeurs acceptables pour les OCPU dépendent de la forme sélectionnée. Les valeurs acceptables pour la mémoire dépendent de la valeur d'OCPU sélectionnée.

        • Forme d'exécuteur : Sélectionnez le type de noeud de grappe à utiliser pour chaque hôte d'exécuteur Spark.

          Si une forme flexible est sélectionnée, sélectionnez le nombre d'OCPU et la quantité de mémoire pouvant être affectée à la forme sélectionnée. Les valeurs acceptables pour les OCPU dépendent de la forme sélectionnée. Les valeurs acceptables pour la mémoire dépendent de la valeur d'OCPU sélectionnée.

        • Nombre d'exécuteurs : Entrez le nombre de noeuds de grappe d'exécuteur Spark à lancer lors de l'exécution de l'application de flux de données OCI.

        • Arguments : Entrez une liste séparée par des virgules des arguments à transmettre à la classe principale de l'application Java, Python ou Scala.

          Pour utiliser un paramètre scalaire dans le champ, entrez la syntaxe ${PARAMETER_NAME} pour un paramètre ou une liste séparée par des virgules si vous ajoutez plusieurs paramètres. Par exemple : ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Vous ne pouvez pas paramétrer la propriété Arguments si elle utilise des paramètres scalaires pour les valeurs d'argument paramétrées. Pour paramétrer la propriété, supprimez les paramètres scalaires dans le champ.

      3. Pour affecter des paramètres aux valeurs de propriété :

        1. Sélectionnez Affecter un paramètre à côté d'une propriété.

          Si vous paramétrez la forme du pilote ou de l'exécuteur, les OCPU et la mémoire doivent être configurées pour la forme. Les valeurs d'OCPU et de mémoire ne sont utilisées que lorsque la valeur du paramètre de forme est une forme flexible. Les valeurs d'OCPU et de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre.

          Note

          Vous ne pouvez pas paramétrer la propriété Arguments si elle utilise des paramètres scalaires. Pour paramétrer la propriété, supprimez ${PARAMETER_NAME} dans le champ, puis sélectionnez Affecter un paramètre.

        2. Dans la page Affecter des paramètres, effectuez l'une des actions suivantes :

          • Sélectionnez un paramètre dans la liste. Seuls les paramètres du même type de propriété s'affichent dans la liste pour sélection.
          • Sélectionnez Ajouter un paramètre. Dans le panneau Ajouter un paramètre, entrez un nom (identificateur) et une description facultative. Ensuite, selon le type de propriété, sélectionnez la valeur par défaut ou entrez la valeur par défaut de la propriété, puis sélectionnez Ajouter. Le paramètre ajouté est automatiquement sélectionné dans la page Affecter des paramètres.

        3. Sélectionnez Affecter.

          Si vous paramétrez les OCPU et les valeurs de mémoire pour une forme flexible, le service d'intégration de données affiche un message d'erreur lorsque vous spécifiez une valeur qui ne se trouve pas dans l'intervalle de valeurs acceptable pour cette propriété. Modifiez le paramètre et entrez une des valeurs acceptables.

      4. (Facultatif) Pour Propriétés de configuration Spark, ajoutez une paire de clés pour une propriété. Sélectionnez Autre propriété si vous devez ajouter d'autres paires de clés.

        Les propriétés de configuration Spark que vous pouvez ajouter peuvent dépendre de la version Spark de l'application de flux de données OCI sélectionnée. Voir Propriétés Spark prises en charge.

      5. Lorsque vous avez terminé de configurer les propriétés de l'application de flux de données OCI et de Spark, sélectionnez Terminé.

        Vous êtes retourné à la page Créer une tâche de flux de données OCI.

        Dans la section Configurer les propriétés, le nombre de paramètres que vous avez affectés est indiqué entre parenthèses à côté de Voir les paramètres.

    9. (Facultatif) Sélectionnez Voir les paramètres pour vérifier les paramètres affectés, modifier une valeur de paramètre par défaut ou supprimer un paramètre.

      Dans la page Voir les paramètres, modifiez une valeur par défaut ou supprimez un paramètre à l'aide du menu Actions (Menu Actions) du paramètre. Lorsque vous supprimez un paramètre, la valeur affectée au paramètre devient la valeur par défaut de cette propriété.

    10. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de propriété.
    11. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publiez la tâche de flux de données OCI dans une application du service d'intégration de données avant d'exécuter la tâche ou de programmer son exécution. Pour plus d'informations sur la publication, voir Publication dans une application d'intégration de données.

  • Utilisez la commande OCI data-integration task create-task-from-dataflow-task et les paramètres requis pour créer une tâche de flux de données OCI :

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Pour la liste complète des indicateurs et des options de variable pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche de flux de données OCI.