Utilisation des tâches de flux de données OCI

Une tâche du service de données pour Oracle Cloud Infrastructure vous permet de programmer, d'exécuter et de surveiller une application de flux de données OCI à partir du service d'intégration de données.

Une application créée dans le service de flux de données OCI est composée d'une application et d'une version Spark, de dépendances, de paramètres par défaut et d'une spécification de ressource d'exécution par défaut.

La création et l'exécution des tâches du service de flux de données pour OCI dans le service d'intégration de données nécessitent des autorisations pertinentes et des politiques IAM pour accéder aux applications du service de flux de données pour OCI. Pour plus de détails, voir Politiques et configuration requises.

Les pages suivantes décrivent comment créer, modifier et supprimer des tâches de flux de données OCI dans le service d'intégration de données :

Les pages suivantes décrivent les autres tâches de gestion qui peuvent être effectuées :

Politiques et configuration requises

Avant de créer une tâche de flux de données OCI, utilisez la liste de vérification suivante pour vous assurer que vous disposez de la configuration et des informations requises pour utiliser les tâches de flux de données OCI dans le service d'intégration de données.

Tâche Exigence
Obtenir l'accès au service de flux de données pour Oracle Cloud Infrastructure

Cette rubrique suppose que les éléments requis pour utiliser le service de flux de données OCI et y créer des applications sont déjà configurés.

Introduction au service de flux de données pour Oracle Cloud Infrastructure

La tâche de flux de données OCI que vous créez dans le service d'intégration de données est associée à une application que vous créez dans le service de flux de données OCI.

Créer une application dans le service de flux de données OCI

Pour utiliser une tâche de flux de données OCI dans le service d'intégration de données, vous devez avoir déjà créé l'application dans le service de flux de données OCI pour la langue souhaitée.

Voir Création d'applications de flux de données OCI.

Obtenir les détails d'une application dans le service de flux de données OCI

Collectez les informations suivantes sur l'application que vous avez créée dans le service de flux de données OCI :

  • Compartiment dans lequel l'application de flux de données OCI est créée
  • Nom de l'application de flux de données OCI
  • S'il y a lieu, les arguments qui appellent la classe principale

Créer des politiques

Pour permettre au service d'intégration de données de créer des applications dans le flux de données OCI et d'y accéder :

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Pour permettre au service d'intégration de données de déclencher des tâches de flux de données OCI avec un magasin de métadonnées configuré, créez deux groupes dynamiques et créez une règle pour chaque groupe dynamique :

Créez la règle de correspondance suivante dans <dynamic-group-name> :

ANY {resource.id = '<workspace-ocid>>'}

Créez la règle de correspondance suivante dans <dynamic-group-name-1> :

ANY {resource.id = '<datacatalog-metastore-ocid>'}

Ajoutez ensuite les politiques suivantes :

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>

Note

  • Les énoncés de politique fournis dans cette rubrique ne sont que des exemples. Assurez-vous d'écrire des politiques qui répondent à vos propres besoins.

  • Des politiques interlocation sont requises si les ressources (telles que les objets et les seaux de stockage d'objets) et l'espace de travail du service d'intégration de données se trouvent sur des locations différentes. Voir Exemples de politiques et le blogue Politiques dans le service d'intégration de données pour Oracle Cloud Infrastructure (OCI) pour identifier les politiques correspondant à vos besoins.

  • Après avoir ajouté des composants IAM (par exemple, des groupes dynamiques et des énoncés de politique), n'essayez pas d'effectuer les tâches associées immédiatement. Les nouvelles politiques IAM nécessitent environ cinq à 10 minutes pour entrer en vigueur.