Introduction au service d'intégration de données

Avant de créer un espace de travail d'intégration de données, consultez les préalables et la liste des tâches dont vous, le client, êtes responsable.

Liste de vérification des responsabilités du client

Vous devez disposer des ressources suivantes et des politiques minimales dans la location. Si vous n'avez pas les droits appropriés, demandez à l'administrateur de les créer pour vous.

Avant de commencer

Avant de commencer à configurer le service d'intégration de données, vous devez avoir :

Compte Oracle Cloud Infrastructure doté des privilèges d'administrateur
Accès au service d'intégration de données

Liste des tâches de client

Cette section résume les responsabilités des clients du service d'intégration de données avant de configurer et d'utiliser le service pour la première fois.


Tâche	Description
Créer des ressources Oracle Cloud Infrastructure pour vos activités d'intégration de données	Dans le service Oracle Cloud Infrastructure Identity and Access Management (IAM) avec des domaines d'identité, créez les compartiments, les utilisateurs et les groupes d'utilisateurs. Gestion des compartiments Gestion des utilisateurs Gestion des groupes
Configurer les composants de réseau pour vos sources de données	Vous pouvez configurer des réseaux en nuage virtuels et des sous-réseaux n Oracle Cloud Infrastructure Networking pour le service d'intégration de données. Seuls les sous-réseaux régionaux sont pris en charge et des noms d'hôte DNS doivent être utilisés dans ces derniers. Selon l'emplacement des sources de données que vous utilisez, vous devrez peut-être créer d'autres objets de réseau tels que des passerelles de service, des groupes de sécurité de réseau et des passerelles de traduction d'adresses de réseau. Aperçu du service de réseau Réseaux en nuage virtuels et sous-réseaux Pour les sources de données d'un réseau privé, créez un VCN avec au moins un sous-réseau régional.
Créer des politiques pour accéder au service d'intégration de données et l'utiliser	Dans le service Oracle Cloud Infrastructure Identity and Access Management (IAM) avec des domaines d'identité, créez les politiques requises qui donnent à des groupes d'utilisateurs un accès approprié aux ressources du service d'intégration de données. Le service d'intégration de données doit également être autorisé à gérer les réseaux virtuels et les sous-réseaux que vous configurez pour l'intégration. Pour obtenir des informations de référence et des exemples, voir Politiques pour le service d'intégration de données. Assurez-vous également de comprendre la relation entre les autorisations et les verbes.
Créer un espace de travail	Lorsque vous créez un espace de travail dans le service d'intégration de données, vous pouvez activer le réseau privé que vous avez configuré. Après avoir créé un espace de travail, voir Activités utilisateur typiques du service d'intégration de données comme guide.

Voir aussi Sécurité des données.

Liste de vérification des responsabilités partagées

Découvrez comment les tâches de gestion des plans de contrôle et des plans de données pour le service d'intégration de données sont partagées entre Oracle et vous, le client.

D'une manière générale, le plan de contrôle est responsable du provisionnement des ressources OCI et de la gestion des opérations de métadonnées pour obtenir, créer, mettre à jour et supprimer des espaces de travail du service d'intégration de données. Le plan de données est responsable des opérations de conception et d'exécution liées aux ressources de données, aux flux de données, aux pipelines, aux tâches et aux applications dans le service d'intégration de données.


Tâche	Qui	Description
Provisionnement des ressources de l'espace de travail	Oracle et le client	Oracle est responsable du provisionnement des ressources Oracle Cloud Infrastructure pour les espaces de travail du service d'intégration de données, y compris les instances de calcul et leur connectivité à un sous-réseau (le cas échéant) au moyen d'une carte VNIC secondaire. Vous, le client, êtes responsable de : Configuration préalable des ressources d'infrastructure, telles que la création d'un compartiment et des ressources de réseau. Création des espaces de travail du service d'intégration de données dont vous avez besoin en spécifiant les caractéristiques de configuration appropriées. Pour obtenir la liste des responsabilités de client pour configurer le service d'intégration de données avant la première utilisation, voir Liste de vérification des responsabilités de client.
Sauvegarde et récupération des espaces de travail et des applications	Oracle et le client	Oracle sauvegarde le contenu de manière continue pour effectuer la récupération après sinistre des métadonnées des ressources du service d'intégration de données et le fonctionnement du service uniquement. Ces sauvegardes incluent les sauvegardes de l'espace de travail du client, mais elles ne sont pas mises à la disposition des clients. Vous, le client, êtes responsable de la sauvegarde des données de l'application, en les copiant dans le même espace de travail, un autre espace de travail ou un autre compartiment. Ceci est particulièrement important pour la reprise après sinistre inter-région.
Correctifs et mise à niveau des services	Oracle	Oracle est responsable de l'application de correctifs et de la mise à niveau au service d'intégration de données et à ses composants d'agent.
Ajustement	Oracle	Oracle est responsable de l'ajustement des plans de contrôle et de données. Vous, le client, pouvez demander l'ajustement des ressources OCI dans le plan de données pour le calcul de l'agent.
Surveillance de l'état	Oracle et le client	Oracle est chargé de surveiller l'état des ressources de l'espace de travail et d'assurer leur disponibilité. Vous, le client, êtes responsable de surveiller l'état et la performance des tâches et des applications à tous les niveaux, y compris la disponibilité des ressources dépendantes référencées dans le plan de données lors de l'exécution des tâches.
Sécurité des applications	Oracle et le client	Oracle s'assure que les données stockées dans OCI sont chiffrées et que les connexions au service d'intégration de données nécessitent le chiffrement SSL. Vous, le client, êtes responsable de la sécurité des applications à tous les niveaux. Cette responsabilité comprend l'accès aux ressources de l'espace de travail, l'accès réseau à ces ressources et l'accès aux données dépendantes.
Vérification	Oracle et le client	Oracle est responsable de la journalisation des appels d'API REST effectués sur les ressources de l'espace de travail et de la mise à votre disposition de ces journaux à des fins de vérification. Vous, le client, êtes responsable de la configuration de l'accès aux journaux de vérification dans le service de journaux de vérification, et de l'utilisation des journaux pour vérifier l'utilisation et surveiller l'activité dans la location.
Alertes et avis	Oracle et le client	Oracle fournit des événements et des avis de service. Vous, le client, êtes responsable de configurer des alertes et des notifications pour les événements de service et de surveiller les alertes qui pourraient vous intéresser.

Création de ressources

Pour créer des ressources pour les activités d'intégration de données :

Créez un compartiment dans la location pour les activités d'intégration de données.

Pour plus d'informations, voir Gestion des compartiments.
Si les sources de données se trouvent dans un réseau privé, créez un VCN avec au moins un sous-réseau dans le compartiment.

Note

Le réseau en nuage virtuel et le sous-réseau que vous créez ici sont ceux que vous sélectionnez lorsque vous créez un espace de travail. Le sous-réseau doit être régional, couvrant tous les domaines de disponibilité.

Si vous ne voyez pas le sous-réseau répertorié, retournez vérifier qu'il a bien été créé en tant que sous-réseau régional.

Pour plus d'informations, voir Réseaux en nuage virtuels et sous-réseaux.
Créez un groupe pour les utilisateurs responsables des espaces de travail, puis ajoutez des utilisateurs au groupe.

Prenez note du nom du groupe. Vous allez créer des politiques pour le groupe dans la section suivante. Pour plus d'informations, voir Gestion des groupes.

Création de politiques

Pour contrôler l'accès des utilisateurs non administrateurs aux ressources et fonctions du service d'intégration de données, vous créez des groupes dans le service Oracle Cloud Infrastructure Identity and Access Management (IAM) avec des domaines d'identité. Ensuite, vous devez écrire des politiques GIA qui donnent aux groupes l'accès approprié.

Vous pouvez utiliser des modèles de politique d'intégration de données dans le générateur de politiques IAM pour créer une politique ou entrer manuellement les énoncés de politique dans l'éditeur manuel. Voir Écriture d'énoncés de politique avec le générateur de politiques pour plus d'informations sur l'utilisation du générateur de politiques et des modèles.

Pour comprendre la syntaxe utilisée pour écrire un énoncé de politique, voir Syntaxe d'une politique. Assurez-vous de comprendre la relation entre les autorisations et les verbes.

Vous pouvez créer la plupart des politiques d'intégration de données au niveau de la location ou du compartiment. Les politiques répertoriées ici sont des exemples que vous pouvez modifier en fonction des besoins en accès.

Pour obtenir plus d'exemples et des informations de référence, voir Politiques pour le service d'intégration de données.

Note

Après avoir ajouté des composants IAM (par exemple, des groupes dynamiques et des énoncés de politique), n'essayez pas d'effectuer les tâches associées immédiatement. Les nouvelles politiques IAM nécessitent environ cinq à 10 minutes pour entrer en vigueur.

Pour les espaces de travail

Pour créer et utiliser des espaces de travail

Créer des espaces de travail

Cette politique permet à un groupe de créer des espaces de travail d'intégration de données.

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

Les utilisateurs disposant de l'autorisation inspect peuvent uniquement lister dis-workspaces. Les utilisateurs disposant de l'autorisation manage pour dis-workspaces peuvent créer et supprimer des espaces de travail. Les utilisateurs disposant de l'autorisation use ne peuvent effectuer que des activités d'intégration dans les espaces de travail. Voir d'autres exemples pour créer une politique pour des besoins spécifiques.

Vérifier le statut de la création d'un espace de travail

Cette politique autorise un groupe à vérifier le statut lors de la création d'un espace de travail.

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

Voir le nom des utilisateurs

Cette politique donne au service d'intégration de données accès au nom des utilisateurs dans le champ Créé par lorsqu'ils créent des projets, des ressources de données et des applications dans l'espace de travail.

allow service dataintegration to inspect users in tenancy

Restreindre le groupe à un seul espace de travail

Après avoir créé des espaces de travail, vous pouvez autoriser un groupe à gérer un espace de travail spécifique, et aucun autre :

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

Déplacer des compartiments

Cette politique permet au service d'intégration de données de déplacer un espace de travail d'un compartiment vers un autre compartiment cible.

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

Déplacer des espaces de travail

Cette politique permet à un groupe de déplacer des espaces de travail d'intégration de données.

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

Marqueurs

Cette politique permet à un groupe de gérer les espaces de noms de marqueur et les marqueurs dans les espaces de travail du service d'intégration de données.

allow group <group-name> to manage tag-namespaces in compartment <compartment-name>

Pour ajouter un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour en savoir plus sur le marquage, voir Marqueurs de ressource.

Rechercher

Ces politiques permettent au service d'intégration de données d'effectuer des recherches dans les espaces de travail de la location.

allow service dataintegration to {TENANCY_INSPECT} in tenancy

allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy

Calculer la taille du sous-réseau

Lors de la création d'un espace de travail pour lequel le réseau privé est activé, pour vérifier si le sous-réseau dispose de suffisamment d'adresses IP à affecter, ajoutez la politique suivante :

allow group <group_name> to inspect instance-family in compartment <compartment_name>

Pour limiter l'autorisation à un appel d'API spécifique, ajoutez la politique suivante :

allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}

Pour activer un réseau privé

Le service d'intégration de données peut être dans une location différente de celle des ressources de données. Pour exécuter une tâche, le service d'intégration de données envoie une demande à la location. En retour, vous devez autoriser le service d'intégration de données à gérer les réseaux virtuels que vous avez configurés pour l'intégration. Créez des espaces de travail d'intégration de données dans la même région que le réseau et accédez en toute sécurité au réseau au moyen d'adresses IP privées. Sans politique pour accepter cette demande, l'intégration des données échoue.

allow service dataintegration to use virtual-network-family in compartment <compartment-name>

La politique suivante permet à un groupe de gérer les ressources de réseau dans le compartiment.

allow group <group-name> to manage virtual-network-family in compartment <compartment-name>

Ou, pour les utilisateurs non administrateurs :

allow group <group-name> to use virtual-network-family in compartment <compartment-name>

allow group <group-name> to inspect instance-family in compartment <compartment-name>

Vous pouvez limiter les activités des utilisateurs au sein du réseau lorsque vous affectez l'autorisation inspect pour les réseaux en nuage virtuels et les sous-réseaux dans le compartiment au lieu de manage. Les utilisateurs peuvent alors voir les réseaux en nuage virtuels et les sous-réseaux existants, et les sélectionner lors de la création d'un espace de travail. Voir d'autres exemples pour créer une politique pour des besoins spécifiques.

Pour les ressources de données

Stockage d'objets

Créez ces politiques pour permettre au service d'intégration de données d'accéder aux ressources de stockage d'objets, telles que les objets et les seaux.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

Si l'espace de travail d'intégration de données et la source de données de stockage d'objets se trouvent dans des locations différentes, vous devez également créer les politiques suivantes pour les compartiments :

Dans la location de l'espace de travail :


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

Dans la location du stockage d'objets :


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

Note

Différents types de politique (principal de ressource et au nom de) sont requis pour l'utilisation du stockage d'objets. Les politiques requises dépendent également si l'instance de stockage d'objets et l'instance d'intégration de données se trouvent dans la même location ou dans des locations différentes, et si vous créez les politiques au niveau du compartiment ou de la location. Consultez d'autres exemples et les politiques du service d'intégration de données pour Oracle Cloud Infrastructure (OCI) du blogue pour identifier les politiques dont vous avez besoin.

Fusion Applications

Créez ces politiques pour permettre au service d'intégration de données d'accéder aux seaux et aux objets dans le service de stockage d'objets d'Oracle Cloud Infrastructure Object Storage. Les politiques sont requises pour le stockage temporaire des données extraites, opération qui nécessite une préauthentification.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Chambre forte OCI

Créez cette politique pour utiliser des clés secrètes dans le service de chambre forte OCI pour les informations sensibles.

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

La politique suivante permet à un groupe d'utilisateurs qui ne sont pas des administrateurs d'utiliser des clés secrètes avec Oracle Autonomous Data Warehouse et Oracle Autonomous Transaction Processing :

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Bases de données autonomes

Créez cette politique si vous utilisez une base de données autonome comme cible. Les bases de données autonomes utilisent le service de stockage d'objets pour stocker temporairement les données et ont besoin d'une préauthentification pour effectuer des opérations.

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Créez cette politique si vous souhaitez que les données d'identification pour la base de données autonomes soient extraites automatiquement lors de la création d'une ressource de données de base de données autonome.

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

Pour les publications

Pour publier des tâches dans le service de flux de données OCI

Créez ces politiques pour publier les tâches d'intégration de données du service d'intégration de données dans le service de flux de données OCI.

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Pour que les utilisateurs non administrateurs publient dans le service de flux de données OCI à l'aide d'un point d'extrémité privé, cette politique est requise pour afficher les points d'extrémité privés :

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

Création d'un espace de travail

Avant de pouvoir démarrer avec le service d'intégration de données, vous ou l'administrateur devez créer un espace de travail pour les projets d'intégration de données.

Créez un espace de travail une fois que les exigences de connectivité pour le service d'intégration de données sont satisfaites. Voir Création de ressources.

Pour d'autres informations sur le réseau, voir les rubriques suivantes :

Assurez-vous que vous disposez également des politiques requises pour créer des espaces de travail, comme décrit dans la section Création de politiques. Par exemple, si vous créez un espace de travail qui utilise des ressources de réseau en nuage virtuel (VCN), vous devez créer des politiques pour permettre au service d'intégration de données d'accéder au VCN dans le compartiment.

1. Dans la page de liste Espaces de travail du service d'intégration de données, sélectionnez Créer un espace de travail. Si vous avez besoin d'aide pour trouver la page de liste, voir Accès aux espaces de travail.
2. Dans le panneau Créer l'espace de travail, entrez un nom et une description facultative pour l'espace de travail.
3. Dans la section Sélection du réseau, sélectionnez Activer un réseau privé pour utiliser un réseau privé pour se connecter aux sources de données. Indiquez ensuite les valeurs suivantes pour utiliser un réseau privé :
  
  Sélectionnez un VCN dans <Compartment_Name> : Sélectionnez le VCN pour les intégrations de données.
  
  Sélectionner un sous-réseau dans <Compartment_Name> : Sélectionnez le sous-réseau dans le VCN sélectionné pour les intégrations de données.
  
  Adresse IP du serveur DNS : (Facultatif) Entrez l'adresse IP du serveur du système de noms de domaine (DNS) du serveur.
  
  Zone du serveur DNS : (Facultatif) Si vous avez entré une adresse IP de serveur DNS, entrez la zone DNS du serveur.
  
  Après la création d'un espace de travail, vous ne pouvez pas désactiver la connexion au réseau privé ni modifier les sélections de compartiment, de VCN ou de sous-réseau.
4. (Facultatif) Dans la section Marqueurs, ajoutez des marqueurs pour faciliter la recherche des ressources d'intégration de données dans la location.
  
  Pour plus d'informations sur les marqueurs, voir Marqueurs et concepts d'espace de noms de marqueur.
5. Choisissez l'une des options suivantes :
  
  Pour créer l'espace de travail, sélectionnez Créer.
  
  Note
  
  Si vous n'avez pas ajouté les politiques requises, la création de l'espace de travail échoue. Dans la zone d'informations Accès non autorisé qui s'affiche, sélectionnez Gérer les politiques pour voir les détails des énoncés de politique requis. Spécifiez le nom de groupe et le compartiment appropriés dans les énoncés. Si vous êtes administrateur, vous pouvez ajouter les politiques en sélectionnant Ajouter des politiques. Si vous n'êtes pas un administrateur, sélectionnez Copier les politiques, puis envoyez-les à un administrateur pour les ajouter.
  
  Vous êtes ramené à la page Espaces de travail. L'accès à l'espace de travail peut prendre quelques minutes. Lorsque le statut est Actif, vous pouvez sélectionner l'espace de travail dans la liste.
  
  Pour plus d'informations sur la navigation et la recherche dans un espace de travail, voir Navigation d'un espace de travail.
  
  Pour créer l'espace de travail plus tard à l'aide du gestionnaire de ressources et de Terraform, sélectionnez Enregistrer en tant que pile pour enregistrer la définition de ressource en tant que configuration Terraform.
  
  Pour plus d'informations sur l'enregistrement des piles à partir des définitions de ressource, voir Création d'une pile à partir d'une page de création de ressource.
Utilisez l'espace de travail pour créer des artefacts de conception tels que des ressources de données, des flux de données et des tâches dans un ou plusieurs projets ou dossiers. Pour plus d'informations sur l'utilisation de projets dans un espace de travail, voir Utilisation de projets et de dossiers.
Utilisez la commande oci data-integration workspace create et les paramètres requis pour créer un espace de travail :
oci data-integration workspace create [OPTIONS]
Pour la liste complète des indicateurs et des options de variable pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande.
Exécutez l'opération CreateWorkspace pour créer un espace de travail.

Composants d'une conception

Après avoir créé des ressources de données pour les systèmes de données source et cible, vous devez créer les processus d'intégration de données pour l'extraction, le chargement et la transformation des données.

Dans le service d'intégration de données, pour ingérer et transformer des données, vous créez des tâches de chargement de données, des flux de données, des tâches d'intégration et d'autres tâches. Pour orchestrer un jeu de tâches dans une séquence ou en parallèle, vous créez des pipelines et des tâches de pipeline. Vous pouvez utiliser les tâches suivantes pour vous guider.


Tâche	Description
Créer une tâche de chargement de données	Créez une tâche de chargement de données à partir de la section Tâches de la page des détails d'un projet ou d'un dossier. Une tâche de chargement de données extrait des données d'une source, les transforme, puis les charge dans une cible.
Créer un flux de données	Créez un flux de données à partir de la section Flux de données de la page des détails d'un projet ou d'un dossier.
Ajouter des opérateurs	Dans le concepteur de flux de données, créez le flux logique de données à partir des ressources de données sources vers les ressources de données cibles. Ajoutez des opérateurs de données pour spécifier les sources de données source et cible. Ajoutez des opérateurs de mise en forme tels que le filtre et la jointure pour nettoyer, transformer et enrichir les données.
Ajouter des fonctions définies par l'utilisateur	Créez et utilisez des fonctions personnalisées.
Appliquer des transformations	Dans l'onglet Données d'un opérateur du concepteur de flux de données, appliquez des transformations pour agréger, nettoyer et mettre en forme les données.
Affecter des paramètres	Dans l'onglet Détails d'un opérateur du concepteur de flux de données, affectez des paramètres pour externaliser et remplacer des valeurs. L'utilisation de paramètres permet de réutiliser différentes configurations de sources, de cibles et de transformations lors de la conception et de l'exécution.
Créer une tâche d'intégration	Une fois la conception d'un flux de données terminée, à partir de la section Tâches de la page des détails d'un projet ou d'un dossier, créez une tâche d'intégration qui utilise le flux de données. L'emballage du flux de données dans une tâche d'intégration vous permet d'exécuter le flux de données et de choisir les valeurs des paramètres à utiliser lors de l'exécution.
Créer d'autres tâches	Si nécessaire, vous pouvez créer d'autres types de tâche à partir de la section Tâches de la page des détails d'un projet ou d'un dossier.
Créer un pipeline	Créez un pipeline à partir de la section Pipelines de la page des détails d'un projet ou d'un dossier. Dans le concepteur de pipeline, utilisez des opérateurs pour ajouter les tâches et les activités que vous souhaitez orchestrer sous forme de jeu de processus de manière séquentielle ou en parallèle. Vous pouvez également utiliser des paramètres pour remplacer des valeurs au moment de la conception et de l'exécution.
Créer une tâche de pipeline	Une fois la conception d'un pipeline terminée, dans la section Tâches de la page des détails d'un projet ou d'un dossier, créez une tâche de pipeline qui utilise le pipeline. L'emballage du pipeline dans une tâche de pipeline vous permet d'exécuter le pipeline et de choisir les valeurs des paramètres à utiliser lors de l'exécution.

Documentation sur Oracle Cloud Infrastructure