Documentation sur Oracle Cloud Infrastructure

Création d'une tâche d'intégration

Créez une tâche d'intégration dans un projet ou un dossier du service d'intégration de données. Une tâche d'intégration vous permet de prendre un flux de données d'intégration de données et de configurer les valeurs de paramètre à utiliser lors de l'exécution.

Data Integration inclut un projet par défaut pour vous aider à démarrer. Pour créer votre propre projet ou dossier, voir Projets et dossiers. Une tâche d'intégration dans un projet ou un dossier peut référencer un flux de données de tout projet ou dossier dans le même espace de travail.

Dans le service d'intégration de données, vous pouvez avoir par défaut des exécutions de tâche simultanées ou parallèles à un moment donné. Pour interdire les exécutions de tâches concurrentes lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées ne sont pas autorisées, une demande d'exécution de tâche échoue s'il existe déjà une exécution de tâche en cours qui est à l'état non terminal.

Pour mettre à jour la configuration d'exécution d'une tâche pour utiliser le service de flux de données OCI, assurez-vous d'avoir déjà créé les ressources préalables telles que les seaux de stockage d'objets et les groupes de flux de données, comme décrit sous Configuration et politiques requises pour le service de flux de données OCI pour exécuter des tâches.

    1. Dans la page Tâches du projet ou du dossier dans lequel vous voulez créer une tâche, sélectionnez Créer une tâche, puis sélectionnez Intégration. Si vous avez besoin d'aide pour trouver la page Tâches d'un projet ou d'un dossier, voir Liste des tâches.
    2. Dans la page Créer une tâche d'intégration, entrez les informations de base suivantes :
      1. Dans les champs Nom et Identificateur, entrez les valeurs voulues ou laissez le service d'intégration de données les remplir automatiquement, en fonction du nom du flux de données que vous sélectionnez pour cette tâche (à l'étape suivante).

        Si vous voulez que le service d'intégration de données remplisse automatiquement les champs, ne modifiez pas ou n'entrez pas de valeurs avant de sélectionner un flux de données. Vous pouvez modifier les valeurs une fois que les champs sont alimentés avec des valeurs basées sur le nom du flux de données sélectionné.

        Dans les deux cas, l'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur mais, après avoir créé et enregistré la tâche, vous ne pouvez pas mettre à jour l'identificateur.

      2. (Facultatif) Entrez une description de la tâche.
      3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions concurrentes de cette tâche.
      4. (Facultatif) Pour Projet ou dossier, cliquez sur Sélectionner et sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    3. Dans la section Flux de données, cliquez sur Sélectionner et sélectionnez le flux de données que cette tâche exécute en suivant les étapes suivantes :
      1. Dans le panneau Sélectionner un flux de données, effectuez l'une des actions suivantes :
        • Sélectionnez un flux de données qui est enregistré dans le projet ou le dossier dans lequel vous travaillez actuellement.
        • Pour sélectionner un flux de données qui est enregistré dans un autre projet ou dossier, cliquez sur Sélectionner à côté du nom du projet ou dossier courant. Dans le panneau Sélectionner un projet ou un dossier qui s'affiche, sélectionnez le projet ou le dossier, puis cliquez sur Sélectionner. Sélectionnez ensuite le flux de données dans la liste des flux de données disponibles.
      2. Cliquez sur Sélectionner.

        Le service d'intégration de données commence à valider le flux de données sélectionné et vous retournez à la page Créer une tâche d'intégration.

        S'il y a des erreurs ou des avertissements dans le flux de données, sélectionnez son nom pour l'ouvrir dans un nouvel onglet. Résolvez les erreurs ou les avertissements et enregistrez le flux de données. Lorsque vous revenez à la page Créer une tâche d'intégration, le service d'intégration de données valide de nouveau automatiquement le flux de données.

    4. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : Crée et enregistre la tâche. Vous pouvez continuer à créer et à modifier la tâche.

      • Créer et fermer : Crée et enregistre la tâche, ferme la page et vous ramène à la liste des tâches de la page des détails du projet ou du dossier.

    5. Enregistrez périodiquement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : Valide les modifications depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : Validation des modifications, fermeture de la page et retourne à la liste des tâches de la page des détails d'un projet ou d'un dossier.

      • Enregistrer sous : Valide les modifications (depuis le dernier enregistrement) et enregistre une copie, au lieu de remplacer la tâche courante. Vous pouvez indiquer un nom pour la copie et sélectionner un autre projet ou dossier pour celle-ci, ou l'enregistrer dans le même projet ou dossier que la tâche existante.

    6. Dans la section Exécuter la configuration, effectuez l'une des opérations suivantes :

      • Par défaut, toutes les tâches que vous créez dans le service d'intégration de données sont configurées pour s'exécuter dans le service d'intégration de données OCI, comme indiqué par l'étiquette Service d'exécution de tâche : Service d'intégration de données OCI. Aucune configuration supplémentaire n'est nécessaire. Passez à l'étape 10.

      • Pour exécuter cette tâche dans le service de flux de données OCI, sélectionnez Modifier.

        Note

        Assurez-vous d'avoir déjà créé les ressources et politiques requises pour l'utilisation du service de flux de données OCI. Voir Configuration et politiques requises pour le service de flux de données OCI pour exécuter des tâches.

        Si vous avez satisfait aux préalables, passez à l'étape 9 pour mettre à jour la configuration d'exécution de la tâche et, éventuellement, utilisez des paramètres pour les propriétés d'exécution.

    7. Dans la page Mettre à jour la configuration de l'exécution de tâche, sélectionnez Service de flux de données OCI. Effectuez ensuite les sélections suivantes pour mettre à jour ou paramétrer les propriétés d'exécution du service de flux de données OCI.

      Ces étapes ne doivent être effectuées qu'après avoir satisfait aux tâches préalables décrites sous Configuration et politiques requises pour le service de flux de données OCI pour exécuter des tâches.

      1. Sélectionnez le groupe dans le service de flux de données OCI pour exécuter cette tâche.
      2. (Facultatif) Sélectionnez le point d'extrémité privé dans le service de flux de données OCI.
      3. Pour Chemin du seau de journaux, sélectionnez le seau de stockage d'objets à utiliser pour les journaux d'exécution de l'application de flux de données OCI.

        S'il s'agit de la première fois que vous modifiez la configuration d'exécution du service de flux de données OCI de la tâche, et que le seau dis-df-system-bucket existe déjà dans le stockage d'objets, le service d'intégration de données sélectionne automatiquement ce seau, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      4. Pour Chemin du seau d'artefacts, sélectionnez le seau de stockage d'objets à utiliser pour les artefacts de tâche d'exécution du service d'intégration de données, tels que les fichiers JAR et zip.

        S'il s'agit de la première fois que vous modifiez la configuration d'exécution du service de flux de données OCI de la tâche, et que le seau dis-df-system-bucket existe déjà dans le stockage d'objets, le service d'intégration de données sélectionne automatiquement ce seau, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      5. (Facultatif) Pour Compartiment d'application, sélectionnez le compartiment de l'application de flux de données OCI créée lors de l'exécution des tâches du service d'intégration de données dans le service de flux de données.

        Si aucun compartiment d'application n'est spécifié, le compartiment d'application du service d'intégration de données est utilisé.

      6. Entrez le nombre minimal de programmes (ou d'exécuteurs) à utiliser pour les tâches du service de flux de données pour OCI.

        La valeur par défaut est 1. Si la valeur de Nombre maximal de programmes de travail est également 1, l'affectation dynamique pour les tâches du service de flux de données pour OCI n'est pas utilisée.

      7. Entrez le nombre maximal de programmes (ou d'exécuteurs) à utiliser pour les tâches du service de flux de données pour OCI.

        La valeur par défaut est 1, ce qui indique que l'affectation dynamique n'est pas utilisée. Si vous voulez utiliser l'affectation dynamique pour les tâches du service de flux de données pour OCI, spécifiez une valeur plus grande. Cette valeur doit être supérieure ou égale à la valeur du champ Nombre minimal de travailleurs.

      8. (Facultatif) Pour Propriétés de configuration Spark du service de flux de données pour OCI, entrez une ou plusieurs propriétés Spark à utiliser pour l'exécution de la tâche.

        Une propriété Spark est une paire clé-valeur. Sélectionnez Autre propriété pour ajouter d'autres paires clé-valeur, si nécessaire.

        Pour les propriétés de configuration Spark que vous pouvez ajouter, voir Propriétés Spark prises en charge.

      9. (Facultatif) Après avoir configuré une propriété d'exécution de tâche (étapes 9a à 9h), sélectionnez Paramétrer inférieure à la valeur de propriété configurée pour affecter un paramètre à cette propriété.

        Lors du paramétrage, le service d'intégration de données ajoute un paramètre de type Chaîne et règle la valeur par défaut du paramètre à la valeur actuellement configurée pour cette propriété. L'étiquette Paramétré suivie d'un nom de paramètre s'affiche. Par exemple : Paramétré : OCI_DF_POOL

        Les noms de paramètre sont les suivants :

        Propriété d'exécution de tâche Nom de paramètre
        Groupe OCI_DF_POOL
        point d'extrémité privé OCI_DF_PRIVATE_ENDPOINT
        Chemin du seau de journaux OCI_DF_LOG_BUCKET
        Chemin du seau d'artefacts OCI_DF_ARTIFACT_BUCKET
        Compartiment d'application OCI_DF_APP_COMPARTMENT
        Nombre minimal de programmes OCI_DF_MIN_WORKERS
        Nombre maximal de programmes OCI_DF_MAX_WORKERS
        Configuration personnalisée du service de flux de données pour OCI OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        Les actions associées à un paramètre sont les suivantes :

        • Sélectionnez Modifier pour ajouter ou modifier une description de paramètre. Le nom et le type du paramètre ne peuvent pas être modifiés. Une description de paramètre, si elle est ajoutée, est affichée en tant que conseil dans le panneau pour modifier les valeurs de paramètre lors de la conception ou de l'exécution.
        • Sélectionnez Supprimer si vous ne voulez plus qu'une propriété soit paramétrée.
      10. Sélectionnez enregistrer.
    8. (Facultatif) Si des paramètres sont affectés dans le flux de données sélectionné, consultez et modifiez les valeurs de paramètre par défaut en suivant les étapes suivantes :
      1. Dans la section Configurer les paramètres, sélectionnez Configurer.
      2. Dans la page Configurer les paramètres, modifiez les valeurs par défaut selon les besoins.

        Tenez compte des restrictions suivantes lors de la modification des valeurs par défaut :

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date gérée par le paramètre de système du service d'intégration de données SYS.LAST_LOAD_DATE, vous n'êtes pas autorisé à modifier la valeur de date lors de la conception.

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date de dernière extraction paramétrée que vous avez ajoutée, vous pouvez modifier la valeur de date lors de la conception et de l'exécution.

        • Si une entité de données cible paramétrée est configurée pour utiliser la stratégie de fusion, vous pouvez modifier la sélection de la clé de fusion.

        • Pour une ressource de données paramétrée qui nécessite un emplacement temporaire : Si vous sélectionnez une ressource de données qui n'a pas d'emplacement temporaire par défaut spécifié dans cette ressource de données, le service d'intégration de données affiche un avis d'avertissement. Lorsque l'avis s'affiche, sélectionnez l'une des options suivantes :
          • Mettez à jour cette ressource de données en ajoutant un emplacement temporaire par défaut.
          • Sélectionnez une ressource de données différente qui a un emplacement temporaire par défaut.

      3. Sélectionnez Configurer ou Annuler.
        Vous revenez à la page Créer une tâche d'intégration.
    9. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de paramètre.

      S'il y a des erreurs ou des avertissements, sélectionnez Voir les messages. Résoudre les erreurs avant de publier la tâche.

    10. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publiez la tâche d'intégration dans une application du service d'intégration de données avant d'exécuter la tâche ou de programmer son exécution. Vous pouvez également publier la tâche d'intégration dans le service de flux de données OCI, le cas échéant. Pour plus d'informations sur la publication, voir Publication des tâches.

  • Utilisez la commande oci data-integration task create-integration-task et les paramètres requis pour créer une tâche d'intégration :

    oci data-integration task create-integration-task [OPTIONS]

    Pour la liste complète des indicateurs et des options de variable pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche d'intégration.