Présentation de Data Integration
Les administrateurs, les ingénieurs de données, les développeurs ETL et les opérateurs comptent parmi les différents types de professionnel des données qui utilisent Oracle Cloud Infrastructure Data Integration.
Vous pouvez remplir les rôles suivants :
- Administrateurs : superviser, gérer et surveiller les stratégies de sécurité et de gestion du cycle de vie pour le service
- ingénieurs de données et développeurs ETL : développer, créer et tester des solutions d'intégration de données
- Opérateurs : gérer, surveiller et diagnostiquer les exécutions d'intégration de données
A propos du service
Avant de commencer, l'administrateur doit répondre aux exigences de connectivité afin que le service Data Integration puisse établir une connexion aux sources de données. L'administrateur crée ensuite des espaces de travail et vous y donne accès. Les espaces de travail permettent de rester organisé et de gérer facilement différents environnements d'intégration de données.
Pour chaque solution d'intégration de données, vous inscrivez des ressources de données afin d'identifier les sources de données source et cible à utiliser. Lorsque vous êtes prêt à concevoir une solution d'intégration des données, Data Integration fournit des tâches d'intégration et d'exécution de chargement des données.
Pour créer une tâche d'intégration, commencez avec un flux de données. Le concepteur de Data Integration est une interface utilisateur graphique facile à utiliser dans laquelle vous pouvez sélectionner différents opérateurs et créer visuellement le flux de données. Il inclut des fonctionnalités de validation et de débogage contribuant à identifier et à corriger les problèmes potentiels avant d'exécuter la tâche.
Lorsque vous créez une tâche de programme de chargement de données, vous indiquez la ressource de données source, puis configurez des transformations pour nettoyer et traiter les données lors de leur chargement dans la ressource de données cible.
Pour exécuter un ensemble spécifique de processus dans une séquence ou en parallèle du début à la fin, vous créez un pipeline. La conception d'un pipeline est semblable à la création d'un flux de données. Vous utilisez des opérateurs pour ajouter les tâches et les activités souhaitées. Après avoir créé un pipeline, vous créez une tâche qui l'utilise.
Une fois les tâches créées, vous les publiez dans l'application par défaut dans Data Integration ou dans une application que vous créez. A partir d'une application, vous exécutez des tâches et surveillez leur progression et leur statut. Vous pouvez également programmer l'exécution automatique des tâches.
Présentation de Data Integration
Vous trouverez ci-dessous la liste des concepts à connaître lors de l'utilisation du service Data Integration :
- Espace de travail
- Conteneur de toutes les ressources Data Integration, telles que les projets, les dossiers, les ressources de données, les tâches, les flux de données, les pipelines, les applications et les programmations, associées à une solution d'intégration de données.
- Projet
- Conteneur des ressources de conception, telles que les tâches, les flux de données et les pipelines.
- Dossier
- Conteneur dans un projet ou un autre dossier permettant d'organiser les ressources de conception.
- Ressource de données
- Représente une source de données, telle qu'une base de données, une banque d'objets, ou une banque de fichiers ou de documents, contenant les métadonnées et les détails de connexion de la source de données.
- Connexion
- Inclut les informations nécessaires pour établir une connexion à une source de données. Une connexion est toujours associée à une seule ressource de données. Une ressource de données peut comprendre plusieurs connexions.
- Entité de données
- Collection de données, telle qu'une vue ou une table de base de données, ou un fichier logique unique, avec de nombreux attributs qui décrivent ses données.
- Schéma
- Collection d'entités de données au sein d'une ressource de données.
- Flux de données
- Ressource de conception qui définit le flux de données et les opérations effectuées sur les données entre les systèmes source et cible. Pour exécuter un flux de données, ajoutez-le à une tâche d'intégration.
- Pipeline
- Ressource de conception permettant d'orchestrer des tâches et des activités en séquence ou en parallèle afin de faciliter un processus du début à la fin. Pour exécuter un pipeline, ajoutez-le à une tâche de pipeline.
- Opérateur
- Un opérateur représente une source d'entrée ou une cible de sortie, ou une transformation dans un flux de données. Dans un pipeline, un opérateur représente une tâche de conception ou publiée, ou une activité telle que la fusion, la décision et la fin.
- Paramètre
- Type de variable que vous pouvez affecter aux détails d'un opérateur afin de pouvoir réutiliser la conception du flux de données ou du pipeline avec différentes ressources et valeurs. Lorsque vous utilisez des paramètres et définissez des valeurs par défaut lors de la conception, vous pouvez modifier les valeurs ultérieurement, soit dans les tâches qui encapsulent le flux de données ou le pipeline, soit lorsque vous exécutez les tâches.
- Tâche
- Ressource de conception qui spécifie un ensemble d'actions à effectuer sur les données. Vous pouvez créer des tâches de programme de chargement de données, des tâches d'intégration pour les flux de données et des tâches de pipeline pour les pipelines. Vous pouvez également créer des tâches SQL et OCI Data Flow. Pour exécuter une tâche, elle est publiée dans une application afin de la tester ou la déployer en production.
- Application
- Conteneur des artefacts d'exécution, tels que les tâches publiées avec leurs dépendances. Vous utilisez les applications à des fins de test et, à terme, de déploiement en production.
- Patch
- Mise à jour d'une application. Lors de la publication d'une tâche unique ou d'un groupe de tâches, ou de l'annulation de la publication d'une tâche, ces activités sont journalisées en tant que patches dans une application. Lorsque vous créez une application ( cible) en copiant des ressources existantes d'une autre application ( source), un patch est ajouté à l'application ( cible). Lors des actualisations suivantes de l'application cible par synchronisation avec les modifications de l'application source, un patch est également créé dans l'application (cible).
- Exécution
- Artefact d'exécution qui représente l'exécution d'une tâche.
- Programmation
- Ressource d'exécution qui définit quand et à quelle fréquence des tâches publiées sont exécutées automatiquement.
- Programmation de tâche
- Ressource d'exécution associée à une tâche publiée spécifique et à une programmation existante pour définir le moment et la fréquence d'exécution automatique de la tâche.
Architectures de référence
Découvrez les architectures de référence disponibles pour vous aider à apprendre à utiliser Oracle Cloud Infrastructure Data Integration.
Les architectures de référence sont des architectures, des configurations et des meilleures pratiques de déploiement sur Oracle Cloud Infrastructure. Ils sont disponibles auprès d'Oracle Architecture Center.
Sur la page principale d'Architecture Center, entrez OCI Data Integration dans le champ de recherche et appuyez sur Entrée.
Voici quelques exemples d'architectures de référence que vous pouvez trouver :
Méthodes d'accès à Oracle Cloud Infrastructure
Vous pouvez accéder à Oracle Cloud Infrastructure à l'aide de la console (interface basée sur un navigateur) ou de l'API REST.
Les instructions relatives à la console et à l'API Data Integration sont incluses dans les rubriques de ce guide. Pour obtenir la liste des SDK disponibles, reportez-vous à Kits SDK et interface de ligne de commande (Kits SDK et interface de ligne de commande).
Pour accéder à la console, vous devez utiliser un navigateur pris en charge. Reportez-vous à Navigateurs pris en charge. Dans le menu de navigation en haut de cette page d'aide, vous pouvez utiliser le lien Console Oracle Cloud pour accéder à la page de connexion. Vous êtes invité à entrer un nom de compte cloud ou une location. Si vous êtes invité à saisir un domaine d'identité, dans la plupart des cas, laissez-le à Par défaut, puis entrez un nom utilisateur et un mot de passe.
Identificateurs de ressource
La plupart des types de ressource Oracle Cloud Infrastructure possèdent un identificateur unique affecté par Oracle appelé ID Oracle Cloud (OCID).
Pour plus d'informations sur le format OCID et les autres moyens d'identifier les ressources, reportez-vous à Identificateurs de ressource.
Limites de service et quotas
Limites de service
Data Integration vous limite à cinq espaces de travail par région.
Quotas de compartiment
Vous pouvez limiter le nombre de ressources d'espace de travail dans un compartiment en créant une limite de quota. Par exemple :
set data-integration quota dis-workspace-count to 3 in compartment <compartment_name>Durée de conservation
Data Integration conserve les espaces de travail supprimés et en échec pendant 15 jours. Au bout de 15 jours, les espaces de travail sont supprimés définitivement.
Services intégrés
Data Integration est intégré à divers services et fonctionnalités Oracle Cloud Infrastructure.
Data Integration s'intègre au service OCI IAM avec des domaines d'identité à des fins d'authentification et d'autorisation pour toutes les interfaces (console, kit SDK, interface de ligne de commande et API REST).
Un administrateur configure des groupes, des compartiments et des stratégies. Les stratégies déterminent qui peut créer des utilisateurs, créer et gérer le réseau cloud, lancer des instances, créer des buckets, télécharger des objets, etc.
Si vous êtes un utilisateur standard, et non un administrateur, et que vous avez besoin des ressources Oracle Cloud Infrastructure de l'entreprise, demandez à l'administrateur de configurer pour vous un ID utilisateur. L'administrateur peut confirmer les compartiments que vous pouvez utiliser.
L'administrateur peut créer des stratégies communes pour autoriser les utilisateurs Data Integration. Il peut également créer des stratégies Data Integration pour contrôler l'accès des utilisateurs au service Data Integration.
Data Integration n'est pas intégré à l'API des demandes de travail standard. Data Integration utilise sa propre API pour les demandes de travail. Reportez-vous à Référence WorkRequest.
L'explorateur de location permet de visualiser toutes les ressources d'un compartiment spécifique dans toutes les régions. L'explorateur de location est alimenté par le service Search et prend en charge le type de ressource Data Integration, workspace.
Oracle Cloud Infrastructure Monitoring permet de surveiller de façon active et passive les ressources Data Integration à l'aide de mesures et d'alarmes. Les mesures Data Integration capturent le nombre d'octets lus, d'octets écrits, d'exécutions de tâche actives, d'exécutions de tâche réussies et d'exécutions de tâche en échec.
A propos de la sécurité des données
Outre le contrôle et la transparence qu'offre la sécurité Oracle Cloud Infrastructure, le service Data Integration gère également les données avec soin.
L'isolation des clients dans Oracle Cloud Infrastructure garantit que chaque espace de travail Data Integration que vous créez obtient sa propre instance de calcul réservée. Un espace de travail est isolé des autres espaces de travail de la même location, ainsi que des autres locations. Data Integration ne stocke aucune donnée dans cette instance de calcul au-delà des exécutions de tâche afin d'assurer la sécurité des données.
Data Integration utilise le service Oracle Cloud Infrastructure Vault pour stocker et crypter les informations sensibles, telles que les mots de passe, les fichiers de portefeuille de la ressource de données et les informations de connexion en tant que clés secrètes. Les schémas et les entités de données sont accessibles en temps réel, si nécessaire. Lorsqu'un échantillonnage de données est chargé dans l'onglet Données pour un flux de données ou pour la configuration de transformations dans la tâche de programme de chargement de données, les données sont chargées à partir de l'entité de données en temps réel.
Affectez uniquement les privilèges requis aux comptes utilisés pour dataintegration. Par exemple, Data Integration exige uniquement un accès en lecture pour l'inclusion de données à partir de ressources de données.
Pour plus d'informations, reportez-vous aux sections suivantes :
- Guide de la sécurité d'Oracle Cloud Infrastructure
- Descriptions des concepts de coffre et de clé secrète dans Oracle Cloud Infrastructure Vault
- Sécurisation de Data Integration
- Stratégies Data Integration
Activités standard d'utilisateur Data Integration
Voici certaines activités que vous êtes susceptible d'effectuer en tant qu'utilisateur Data Integration.
| Activité | Description |
|---|---|
| Accéder aux espaces de travail ou les créer | Accéder aux projets Data Integration et à leurs ressources ou en créer une (ressources de données, flux de données, tâches, etc.) ou en créer une |
| Création d'une ressource de données | Inscrire les sources de données avec lesquelles vous travaillez en tant que ressources de données Data Integration |
| Création d'une connexion | Ajouter de nouvelles connexions aux ressources de données |
| Utilisation de projets et de dossiers |
Créer des projets et des dossiers pour organiser les artefacts de conception Créer un projet en copiant un projet existant |
| Création d'un flux de données | Concevoir un flux de données |
| Création d'un pipeline | Concevoir un pipeline |
|
Création d'une tâche d'intégration (pour un flux de données) Création d'une tâche de programme de chargement de données Création d'une tâche OCI Data Flow Création d'une tâche de pipeline (pour un pipeline) |
Créer des tâches |
| Création d'applications |
Créez une application pour exécuter et planifier des tâches :
|
| Publication des tâches de conception | Publier des tâches dans les applications à des fins de test et d'exécution |
| Exécuter des tâches, puis surveiller leur progression | |
| Programmation des tâches publiées | Créer une programmation et des programmations de tâche pour automatiser les exécutions |
| Surveillance d'un espace de travail | Surveiller un espace de travail |
Utilisation de la page de présentation de Data Integration
Lorsque vous accédez à Data Integration dans la console et que vous sélectionnez Présentation, la page Présentation de Data Integration apparaît.
La page Présentation fournit des informations sur les fonctionnalités, des liens pour vous aider à démarrer avec le service et des ressources pour une utilisation efficace de Data Integration.
Ressources de formation Data Integration
Utilisez les ressources suivantes pour en savoir plus sur Oracle Cloud Infrastructure Data Integration.