Documentation Oracle Cloud Infrastructure

Configuration et stratégies requises pour le service OCI Data Flow afin d'exécuter des tâches

Seules les tâches d'intégration que vous créez et publiez dans Data Integration peuvent être configurées pour être exécutées dans le service OCI Data Flow.

Pour exécuter les tâches dans le service OCI Data Flow, assurez-vous que vous avez configuré les ressources et stratégies suivantes.

Ressources de données utilisées dans les tâches

  • Vous devez être configuré pour utiliser les clés secrètes OCI Vault afin que les mots de passe de connexion aux sources de données puissent être utilisés. Ceci garantit la transmission sécurisée des informations d'identification entre les services OCI. Reportez-vous à Clés secrètes OCI Vault et portefeuilles Oracle.

  • Doit être indiqué à l'aide du nom de domaine qualifié complet des hôtes de base de données. Le service OCI Data Flow n'autorise pas les connexions via des adresses IP directes.

OCI Object Storage

  • Les buckets Object Storage sont requis pour les éléments suivants :
    • Service OCI Data Flow permettant de télécharger les journaux d'exécution d'application Data Flow.
    • Service Data Integration chargé de télécharger les artefacts pour les travaux exécutés, tels que les fichiers JAR et ZIP.

    Lors de la modification de la première configuration d'exécution du service OCI Data Flow d'une tâche, le service Data Integration sélectionne automatiquement le bucket dis-df-system-bucket s'il existe déjà. Sinon, vous devez sélectionner un journal et un bucket d'artefact lorsque vous mettez à jour la configuration d'exécution de tâche pour utiliser le service Data Flow.

  • Droits d'accès et stratégies IAM pertinents pour accéder à Object Storage, comme décrit dans Exemples de stratégie permettant d'activer l'accès à OCI Object Storage.

Remarque

Vous devez disposer de différents types de stratégie (principal de ressource et Au nom de) pour utiliser Object Storage. Les stratégies requises varient également selon que l'instance Object Storage et l'espace de travail Data Integration se trouvent dans la même location ou dans des locations différentes, et que vous créez les stratégies au niveau du compartiment ou de la location. D'autres exemples sont disponibles dans le blog Stratégies dans Oracle Cloud Infrastructure (OCI) Data Integration pour vous aider à identifier les stratégies pour des besoins spécifiques.

Service OCI Data Flow

  • Une piscine. Reportez-vous à Création d'un pool dans la documentation OCI Data Flow.

    Pour exécuter des tâches du service Data Integration dans le service OCI Data Flow, le pool requis doit avoir une configuration unique avec au moins deux formes de calcul.

  • Adresse privée. Reportez-vous à Création d'une adresse privée dans la documentation OCI Data Flow.

    Si les tâches du service Data Integration accèdent à des sources de données qui sont uniquement disponibles à l'aide d'adresses IP privées, une adresse privée est requise pour donner à OCI Data Flow l'accès à un réseau privé dans la location afin de pouvoir utiliser ces sources de données.

  • Stratégies pertinentes permettant de publier à partir du service Data Integration les tâches pour lesquelles la configuration d'exécution du service Data Flow est activée, et d'exécuter les tâches sur le service Data Flow (avec ou sans adresses privées).

    Pour que Data Integration exécute des tâches sur le service Data Flow :

    allow any-user to manage dataflow-family in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Pour que l'utilisateur puisse accéder directement au service Data Flow, procédez comme suit :

    allow group <group-name> to read dataflow-application in compartment <compartment-name>
    allow group <group-name> to manage dataflow-run in compartment <compartment-name>

    Pour que l'utilisateur puisse gérer les adresses privées et les groupes de clés secrètes Data Flow, procédez comme suit :

    allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
    allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Pour que le service Data Flow lise les journaux d'exécution d'application à partir du bucket Object Storage indiqué dans la configuration d'exécution de la tâche Data Integration pour Data Flow, procédez comme suit :

    ALLOW SERVICE dataflow TO READ objects IN tenancy WHERE target.bucket.name = '<log-bucket-name>'

    Pour les utilisateurs non administrateurs, les stratégies suivantes sont requises :

    allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>
    allow group <group-name> to read secret-bundles in compartment <compartment-name>

Après avoir satisfait aux exigences de stratégie et de ressource prérequises, modifiez la configuration d'exécution de la tâche à exécuter dans le service OCI Data Flow. Reportez-vous à Mise à jour de la configuration d'exécution de tâche pour le service OCI Data Flow.

Remarque

Une fois que vous avez ajouté des composants IAM (par exemple, des groupes dynamiques et des instructions de stratégie), n'essayez pas d'effectuer les tâches associées immédiatement. Les nouvelles stratégies IAM prennent effet en cinq à 10 minutes environ.