Documentation Oracle Cloud Infrastructure

Utilisation des tâches OCI Data Flow

Une tâche Oracle Cloud Infrastructure Data Flow permet de programmer, d'exécuter et de surveiller une application OCI Data Flow à partir de Data Integration.

Une application créée dans OCI Data Flow comprend une application Spark et sa version, des dépendances, des paramètres par défaut et une spécification de ressource d'exécution par défaut.

La création et l'exécution de tâches OCI Data Flow dans Data Integration nécessitent les droits d'accès et stratégies IAM appropriés pour accéder aux applications dans OCI Data Flow. Pour plus de détails, reportez-vous à Stratégies et configuration requises.

Les pages suivantes expliquent comment créer, modifier et supprimer des tâches OCI Data Flow dans Data Integration :

Les pages suivantes décrivent d'autres tâches de gestion qui peuvent être effectuées :

Stratégies et configuration requises

Avant de créer une tâche OCI Data Flow, utilisez la liste de contrôle de tâche suivante pour vous assurer que vous disposez des informations et de la configuration requises pour utiliser les tâches OCI Data Flow dans Data Integration.

Tâche Exigence
Obtention de l'accès à Oracle Cloud Infrastructure Data Flow

Cette rubrique suppose que vous avez déjà configuré ce dont vous avez besoin pour utiliser OCI Data Flow et créer des applications dans OCI Data Flow.

Introduction à OCI Data Flow

La tâche OCI Data Flow que vous créez dans Data Integration est associée à une application que vous créez dans OCI Data Flow.
Création d'une application dans OCI Data Flow

Pour utiliser une tâche OCI Data Flow dans Data Integration, vous devez avoir déjà créé l'application dans OCI Data Flow pour le langage voulu.

Reportez-vous à Création d'applications OCI Data Flow.
Obtention des détails d'une application dans OCI Data Flow

Collectez les détails suivants de l'application que vous avez créée dans OCI Data Flow :

  • Compartiment dans lequel l'application OCI Data Flow est créée
  • Nom de l'application OCI Data Flow
  • Le cas échéant, arguments qui appellent la classe principale

Création de stratégies

Pour permettre à Data Integration de créer des applications et d'y accéder dans OCI Data Flow :

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Pour autoriser Data Integration à déclencher des tâches OCI Data Flow avec un métastore configuré, créez deux groupes dynamiques et une règle pour chaque groupe :

Créez la règle de mise en correspondance suivante dans <dynamic-group-name> :

ANY {resource.id = '<workspace-ocid>>'}

Créez la règle de mise en correspondance suivante dans <dynamic-group-name-1> :

ANY {resource.id = '<datacatalog-metastore-ocid>'}

Ajoutez ensuite les stratégies suivantes :

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>
Remarque

  • Les instructions de stratégie fournies dans cette rubrique sont des exemples uniquement. Veillez à écrire des stratégies qui répondent à vos propres exigences.

  • Des stratégies inter-locations sont requises si les ressources (telles que les objets Object Storage et les buckets) et l'espace de travail Data Integration se trouvent sur des locations différentes. Reportez-vous à Exemples de stratégie et au blog Stratégies dans Oracle Cloud Infrastructure (OCI) Data Integration afin d'identifier les stratégies correspondant à vos besoins.

  • Une fois que vous avez ajouté des composants IAM (par exemple, des groupes dynamiques et des instructions de stratégie), n'essayez pas d'effectuer les tâches associées immédiatement. Les nouvelles stratégies IAM prennent effet en cinq à 10 minutes environ.