Documentation Oracle Cloud Infrastructure

Mise à jour de la configuration d'exécution de tâche pour le service OCI Data Flow

Seules les tâches d'intégration que vous créez et publiez dans Data Integration peuvent être configurées pour être exécutées dans le service OCI Data Flow.

Avant de mettre à jour la configuration d'exécution d'une tâche pour l'exécution dans le service OCI Data Flow, assurez-vous que vous avez créé les ressources et stratégies requises. Reportez-vous à Configuration et stratégies requises pour que le service OCI Data Flow exécute des tâches.

Dans Data Integration, vous mettez à jour la configuration d'exécution du service OCI Data Flow d'une tâche lorsque vous créez la tâche ou lorsque vous modifiez la tâche.

    1. Effectuez l'une des opérations suivantes :
      • Ouvrez le projet ou le dossier dans lequel créer une tâche.
      • Ouvrez le projet ou le dossier contenant la tâche à modifier.

      Pour connaître les étapes d'ouverture de la page de détails d'un projet ou d'un dossier, reportez-vous à Affichage des détails d'un projet ou à Affichage des détails d'un dossier.

    2. Sur la page des détails du projet ou du dossier, sélectionnez Tâches.
    3. Dans la section Tâches, effectuez l'une des opérations suivantes.

      • Pour créer une tâche, sélectionnez Créer une tâche, puis Intégration.

      • Pour modifier une tâche, sélectionnez Afficher les détails dans le menu Actions (menu Actions) de la tâche.

      Actuellement, seules les tâches d'intégration peuvent être configurées pour être exécutées dans le service OCI Data Flow.

    4. Sur la page de création ou de modification qui s'ouvre, accédez à la section Exécuter la configuration.

      Par défaut, toutes les tâches que vous créez pour la première fois dans Data Integration sont configurées pour être exécutées dans le service OCI Data Integration, comme indiqué par le libellé Service d'exécution de tâche : service OCI Data Integration.

      Si une tâche est configurée pour être exécutée dans le service OCI Data Flow, le libellé est Service d'exécution de tâche : service OCI Data Flow.

    5. Dans la section Exécuter la configuration, sélectionnez Modifier.
    6. Sur la page Mettre à jour la configuration d'exécution de tâche, sélectionnez l'une des options suivantes :
      • Service OCI Data Integration : exécutez cette tâche dans Data Integration à l'aide de ressources par défaut fixes. Aucune autre configuration n'est requise. Passez à l'étape 8.
      • Service OCI Data Flow : exécutez cette tâche dans le service Data Flow à l'aide de ressources évolutives et d'une allocation dynamique. Passez à l'étape 7 pour spécifier la configuration d'exécution.
    7. Effectuez les sélections suivantes pour mettre à jour ou paramétrer les propriétés d'exécution pour utiliser le service OCI Data Flow.
      1. Sélectionnez le pool dans OCI Data Flow pour exécuter cette tâche.
      2. (Facultatif) Sélectionnez l'adresse privée dans OCI Data Flow.
      3. Pour Chemin de bucket de journal, sélectionnez le bucket Object Storage à utiliser pour les journaux d'exécution d'application OCI Data Flow.

        S'il s'agit de la première modification de la configuration d'exécution du service OCI Data Flow de la tâche, et que le bucket dis-df-system-bucket existe déjà dans Object Storage, Data Integration sélectionne automatiquement ce bucket, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      4. Pour Chemin de bucket d'artefact, sélectionnez le bucket Object Storage à utiliser pour les artefacts de travail d'exécution Data Integration, tels que les fichiers JAR et ZIP.

        S'il s'agit de la première modification de la configuration d'exécution du service OCI Data Flow de la tâche, et que le bucket dis-df-system-bucket existe déjà dans Object Storage, Data Integration sélectionne automatiquement ce bucket, comme indiqué par oci://dis-df-system-bucket@<tenancy-name> dans le champ de sélection.

      5. (Facultatif) Dans Compartiment d'application, sélectionnez le compartiment de l'application OCI Data Flow créée lorsque les tâches du service Data Integration sont exécutées dans le service Data Flow.

        Si aucun compartiment d'application n'est indiqué, le compartiment d'application Data Integration est utilisé.

      6. Sélectionnez ou entrez le nombre minimal de processus actifs (ou d'exécuteurs) à utiliser pour les travaux OCI Data Flow.

        Valeur par défaut : 1. Si la valeur de Nombre maximal de salariés est également 1, l'allocation dynamique pour les travaux OCI Data Flow n'est pas utilisée.

      7. Sélectionnez ou entrez le nombre maximal de processus actifs (ou d'exécuteurs) à utiliser pour les travaux OCI Data Flow.

        La valeur par défaut est 1, ce qui indique que l'allocation dynamique n'est pas utilisée. Si vous souhaitez utiliser l'allocation dynamique pour les travaux OCI Data Flow, indiquez une valeur supérieure. Cette valeur doit être supérieure ou égale à la valeur de nombre minimal de processus actifs.

      8. (Facultatif) Dans Propriétés de configuration Spark OCI Data Flow, entrez les propriétés Spark à utiliser pour exécuter cette tâche.

        Une propriété Spark est une paire clé-valeur. Sélectionnez Autre propriété pour ajouter d'autres paires clé-valeur, si nécessaire.

        Pour connaître les propriétés de configuration Spark que vous pouvez ajouter, reportez-vous à Propriétés Spark prises en charge.

      9. (Facultatif) Après avoir configuré une propriété d'exécution de tâche (étapes 6a à 6h), sélectionnez Paramétrer sous la valeur de propriété configurée pour affecter un paramètre à cette propriété.

        Lors du paramétrage, Data Integration ajoute un paramètre de type String et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette propriété. Le libellé Paramétré suivi d'un nom de paramètre s'affiche. Par exemple : Paramétré : OCI_DF_POOL

        Les noms de paramètre pour les propriétés de configuration d'exécution du service OCI Data Flow sont les suivants :

        Propriété d'exécution de tâche Nom de paramètre
        Pool OCI_DF_POOL
        Adresse privée OCI_DF_PRIVATE_ENDPOINT
        Chemin de bucket de journal OCI_DF_LOG_BUCKET
        Chemin de bucket d'artefact OCI_DF_ARTIFACT_BUCKET
        Compartiment d'application OCI_DF_APP_COMPARTMENT
        Nombre minimal de processus actifs OCI_DF_MIN_WORKERS
        Nombre maximal de processus actifs OCI_DF_MAX_WORKERS
        Configuration OCI Data Flow personnalisée OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        Les actions d'un paramètre sont les suivantes :

        • Sélectionnez Modifier pour ajouter ou modifier une description de paramètre. Le nom et le type du paramètre ne peuvent pas être modifiés. Une description de paramètre, si elle est ajoutée, est affichée sous la forme d'un conseil dans le panneau pour modifier les valeurs de paramètre lors de la conception ou de l'exécution.
        • Sélectionnez Enlever si vous ne souhaitez plus paramétrer une propriété.
      10. Sélectionnez Save (Enregistrer).
    8. Dans la page de création ou de modification de la tâche, cliquez sur le bouton approprié pour créer et enregistrer la tâche.

  • Utilisez la commande oci data-integration task update-integration-task et les paramètres requis pour mettre à jour une tâche d'intégration :

    oci data-integration task update-integration-task [OPTIONS]

    Utilisez la commande oci data-integration task update-data-loader-task et les paramètres requis pour mettre à jour une tâche de programme de chargement de données :

    oci data-integration task update-data-loader-task [OPTIONS]

    Afin d'obtenir la liste complète des indicateurs et des options de variable pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

  • Exécutez l'opération UpdateTask avec le sous-type de ressource approprié pour mettre à jour une tâche.