Documentation Oracle Cloud Infrastructure

Création d'une tâche d'intégration

Créez une tâche d'intégration dans un projet ou un dossier dans Data Integration. Une tâche d'intégration vous permet de prendre un flux de données Data Integration et de configurer les valeurs de paramètre à utiliser lors de l'exécution.

Data Integration inclut un projet par défaut pour vous lancer. Pour créer votre propre projet ou dossier, reportez-vous à Projets et dossiers. Une tâche d'intégration dans un projet ou un dossier peut référencer un flux de données de n'importe quel projet ou dossier du même espace de travail.

Dans Data Integration, par défaut, vous pouvez avoir des exécutions de tâche simultanées ou parallèles d'une tâche à un moment donné. Pour interdire les exécutions de tâche simultanées lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées sont interdites, une demande d'exécution pour la tâche échoue si une exécution de tâche en cours est déjà dans un état non terminal.

Pour mettre à jour la configuration d'exécution d'une tâche afin d'utiliser le service OCI Data Flow, assurez-vous que vous avez déjà créé les ressources prérequises, telles que les buckets Object Storage et les pools Data Flow, comme décrit dans Configuration et stratégies requises pour que le service OCI Data Flow exécute des tâches.

    1. Sur la page Tâches du projet ou du dossier dans lequel créer une tâche, sélectionnez Créer une tâche, puis Intégration. Si vous avez besoin d'aide pour trouver la page Tâches dans un projet ou un dossier, reportez-vous à Liste des tâches.
    2. Sur la page Créer une tâche d'intégration, entrez les informations de base suivantes :
      1. Dans les champs Nom et Identificateur, entrez les valeurs souhaitées ou laissez Data Integration renseigner automatiquement les valeurs, en fonction du nom du flux de données que vous sélectionnez pour cette tâche (à l'étape suivante).

        Si vous souhaitez que Data Integration remplisse automatiquement les champs, ne modifiez pas ou n'entrez pas de valeurs avant de sélectionner un flux de données. Vous pouvez modifier les valeurs une fois que les champs sont renseignés avec des valeurs basées sur le nom du flux de données sélectionné.

        Dans les deux cas, l'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur, mais une fois que vous avez créé et enregistré la tâche, vous ne pouvez plus mettre à jour l'identificateur.

      2. (Facultatif) Entrez la description de la tâche.
      3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions simultanées de cette tâche.
      4. (Facultatif) Dans Projet ou dossier, cliquez sur Sélectionner, puis sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    3. Dans la section Flux de données, cliquez sur Sélectionner et sélectionnez le flux de données exécuté par cette tâche en procédant comme suit :
      1. Dans le panneau Sélectionner un flux de données, effectuez l'une des actions suivantes :
        • Sélectionnez un flux de données enregistré dans le projet ou le dossier dans lequel vous travaillez actuellement.
        • Pour sélectionner un flux de données enregistré dans un autre projet ou dossier, cliquez sur Sélectionner en regard du nom du projet ou dossier en cours. Dans le panneau Sélectionner un projet ou un dossier qui apparaît, sélectionnez le projet ou le dossier et cliquez sur Sélectionner. Sélectionnez ensuite le flux de données dans la liste des flux de données disponibles.
      2. Cliquez sur Sélectionner.

        Data Integration commence à valider le flux de données sélectionné et vous revenez à la page Créer une tâche d'intégration.

        En cas d'erreurs ou d'avertissements liés au flux de données, sélectionnez son nom pour l'ouvrir dans un nouvel onglet. Résolvez les erreurs ou les avertissements et enregistrez le flux de données. Lorsque vous revenez à la page Créer une tâche d'intégration, Data Integration valide à nouveau automatiquement le flux de données.

    4. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : crée et enregistre la tâche. Vous pouvez poursuivre la création et la modification de la tâche.

      • Créer et fermer : permet de créer et d'enregistrer la tâche, de fermer la page et de revenir à la liste des tâches sur la page des détails du projet ou du dossier.

    5. Enregistrez régulièrement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : valide les modifications apportées depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : valide les modifications, ferme la page et retourne à la liste des tâches sur la page des détails du projet ou du dossier.

      • Enregistrer sous : valide les modifications (depuis le dernier enregistrement) et les enregistre dans une copie au lieu d'écraser la tâche en cours. Vous pouvez fournir un nom pour la copie et sélectionner un autre projet ou dossier pour la copie, ou enregistrer la copie dans le même projet ou dossier que la tâche existante.

    6. Dans la section Exécuter la configuration, effectuez l'une des opérations suivantes :

      • Par défaut, toutes les tâches que vous créez dans Data Integration sont configurées pour être exécutées dans le service OCI Data Integration, comme indiqué par le libellé Service d'exécution de tâche : service OCI Data Integration. Aucune configuration supplémentaire n'est nécessaire. Passer à l'étape 10.

      • Pour exécuter cette tâche dans le service OCI Data Flow, sélectionnez Modifier.

        Remarque

        Assurez-vous que vous avez déjà créé les ressources et stratégies requises pour utiliser le service OCI Data Flow. Reportez-vous à Configuration et stratégies requises pour que le service OCI Data Flow exécute des tâches.

        Si vous avez satisfait aux prérequis, passez à l'étape 9 pour mettre à jour la configuration d'exécution de la tâche et utilisez éventuellement des paramètres pour les propriétés d'exécution.

    7. Sur la page Mettre à jour la configuration de l'exécution de tâche, sélectionnez Service OCI Data Flow. Effectuez ensuite les sélections suivantes pour mettre à jour ou paramétrer les propriétés d'exécution pour OCI Data Flow.

      Ces étapes ne doivent être effectuées qu'une fois que vous avez satisfait aux tâches de prérequis décrites dans Configuration et stratégies requises pour qu'OCI Data Flow Service exécute des tâches.

      1. Sélectionnez le pool dans OCI Data Flow pour exécuter cette tâche.
      2. (Facultatif) Sélectionnez l'adresse privée dans OCI Data Flow.
      3. Pour Chemin de bucket de journal, sélectionnez le bucket Object Storage à utiliser pour les journaux d'exécution d'application OCI Data Flow.

        S'il s'agit de la première modification de la configuration d'exécution du service OCI Data Flow de la tâche, et que le bucket dis-df-system-bucket existe déjà dans Object Storage, Data Integration sélectionne automatiquement ce bucket, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      4. Pour Chemin de bucket d'artefact, sélectionnez le bucket Object Storage à utiliser pour les artefacts de travail d'exécution Data Integration, tels que les fichiers JAR et ZIP.

        S'il s'agit de la première modification de la configuration d'exécution du service OCI Data Flow de la tâche, et que le bucket dis-df-system-bucket existe déjà dans Object Storage, Data Integration sélectionne automatiquement ce bucket, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      5. (Facultatif) Dans Compartiment d'application, sélectionnez le compartiment de l'application OCI Data Flow créée lorsque les tâches du service Data Integration sont exécutées dans le service Data Flow.

        Si aucun compartiment d'application n'est indiqué, le compartiment d'application Data Integration est utilisé.

      6. Entrez le nombre minimal de processus actifs (ou d'exécuteurs) à utiliser pour les travaux OCI Data Flow.

        Valeur par défaut : 1. Si la valeur de Nombre maximal de salariés est également 1, l'allocation dynamique pour les travaux OCI Data Flow n'est pas utilisée.

      7. Entrez le nombre maximal de processus actifs (ou d'exécuteurs) à utiliser pour les travaux OCI Data Flow.

        La valeur par défaut est 1, ce qui indique que l'allocation dynamique n'est pas utilisée. Si vous souhaitez utiliser l'allocation dynamique pour les travaux OCI Data Flow, indiquez une valeur supérieure. Cette valeur doit être supérieure ou égale à la valeur de Nombre minimal de salariés.

      8. (Facultatif) Dans Propriétés de configuration Spark OCI Data Flow, entrez les propriétés Spark à utiliser pour l'exécution de tâche.

        Une propriété Spark est une paire clé-valeur. Sélectionnez Autre propriété pour ajouter d'autres paires clé-valeur, si nécessaire.

        Pour connaître les propriétés de configuration Spark que vous pouvez ajouter, reportez-vous à Propriétés Spark prises en charge.

      9. (Facultatif) Après avoir configuré une propriété d'exécution de tâche (étapes 9a à 9h), sélectionnez Paramétrer sous la valeur de propriété configurée pour affecter un paramètre à cette propriété.

        Lors du paramétrage, Data Integration ajoute un paramètre de type String et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette propriété. Le libellé Paramétré suivi d'un nom de paramètre s'affiche. Par exemple : Paramétré : OCI_DF_POOL

        Les noms des paramètres sont les suivants :

        Propriété d'exécution de tâche Nom de paramètre
        Pool OCI_DF_POOL
        Adresse privée OCI_DF_PRIVATE_ENDPOINT
        Chemin de bucket de journal OCI_DF_LOG_BUCKET
        Chemin de bucket d'artefact OCI_DF_ARTIFACT_BUCKET
        Compartiment d'application OCI_DF_APP_COMPARTMENT
        Nombre minimal de processus actifs OCI_DF_MIN_WORKERS
        Nombre maximal de processus actifs OCI_DF_MAX_WORKERS
        Configuration OCI Data Flow personnalisée OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        Les actions d'un paramètre sont les suivantes :

        • Sélectionnez Modifier pour ajouter ou modifier une description de paramètre. Le nom et le type du paramètre ne peuvent pas être modifiés. Une description de paramètre, si elle est ajoutée, est affichée sous la forme d'un conseil dans le panneau pour modifier les valeurs de paramètre lors de la conception ou de l'exécution.
        • Sélectionnez Enlever si vous ne souhaitez plus paramétrer une propriété.
      10. Sélectionnez Save (Enregistrer).
    8. (Facultatif) Si des paramètres sont affectés dans le flux de données sélectionné, affichez et modifiez les valeurs de paramètre par défaut en procédant comme suit :
      1. Dans la section Configurer les paramètres, sélectionnez Configurer.
      2. Sur la page Configurer les paramètres, modifiez les valeurs par défaut selon vos besoins.

        Lorsque vous modifiez les valeurs par défaut, tenez compte des restrictions suivantes :

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date gérée par le paramètre système Data Integration SYS.LAST_LOAD_DATE, vous n'êtes pas autorisé à modifier la valeur de date lors de la conception.

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date de dernière extraction paramétrée que vous avez ajoutée, vous pouvez modifier la valeur de date lors de la conception et de l'exécution.

        • Si une entité de données cible paramétrée est configurée pour utiliser la stratégie Fusionner, vous pouvez modifier la sélection de la clé Fusionner.

        • Pour une ressource de données paramétrée nécessitant un emplacement de préparation : si vous sélectionnez une ressource de données pour laquelle aucun emplacement de préparation par défaut n'est indiqué dans cette ressource de données, Data Integration affiche une notification d'avertissement. Lorsque vous voyez la notification, choisissez l'une des options suivantes :
          • Mettez à jour cette ressource de données en ajoutant un emplacement de transfert par défaut.
          • Choisissez une autre ressource de données dotée d'un emplacement de préparation par défaut.

      3. Sélectionnez Configurer ou Annuler.
        Vous revenez à la page Créer une tâche d'intégration.
    9. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de paramètre.

      En cas d'erreurs ou d'avertissements, sélectionnez Afficher les messages. Corrigez toutes les erreurs avant de publier la tâche.

    10. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publiez la tâche d'intégration vers une application dans Data Integration avant d'exécuter la tâche ou de programmer son exécution. Vous pouvez également publier la tâche d'intégration vers OCI Data Flow, le cas échéant. Pour plus d'informations sur la publication, reportez-vous à Publication des tâches.

  • Utilisez la commande oci data-integration task create-integration-task et les paramètres requis pour créer une tâche d'intégration :

    oci data-integration task create-integration-task [OPTIONS]

    Afin d'obtenir la liste complète des indicateurs et des options de variable pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche d'intégration.