Aperçu du service d'intégration de données
Les administrateurs, les ingénieurs de données, les développeurs ETC et les opérateurs font partie des différents types de professionnels des données qui utilisent le service d'intégration de données pour Oracle Cloud Infrastructure.
Vous pouvez remplir une ou plusieurs des fonctions suivantes :
- Administrateurs : Surveiller, gérer et surveiller la gestion du cycle de vie et les politiques de sécurité du service.
- Ingénieurs de données et développeurs ETC : Développer, construire et tester des solutions d'intégration de données.
- Operators: Manage, monitor, and diagnose data integration executions.
À propos du service
Avant de démarrer, l'administrateur doit satisfaire aux exigences de connectivité afin que le service d'intégration de données puisse établir une connexion aux sources de données. L'administrateur crée ensuite des espaces de travail et vous donne accès à ceux-ci. Les espaces de travail permettent de rester organisé et de gérer facilement différents environnements d'intégration de données.
Pour chaque solution d'intégration de données, vous enregistrez des ressources de données pour identifier les sources de données source et cible à utiliser. Lorsque vous êtes prêt à commencer à concevoir une solution d'intégration de données, le service d'intégration de données fournit des tâches d'intégration et de chargement de données.
Pour créer une tâche d'intégration, commencez par un flux de données. Le concepteur du service d'intégration de données est une interface utilisateur graphique facile à utiliser qui vous permet de sélectionner différents opérateurs et de créer visuellement le flux de données. Il comprend des fonctions de validation et de débogage pour vous aider à identifier et à corriger les problèmes potentiels avant d'exécuter la tâche.
Lorsque vous créez une tâche de chargement de données, vous indiquez la ressource de données source, puis configurez des transformations pour nettoyer et traiter les données au cours de leur chargement dans la ressource de données cible.
Pour exécuter un jeu particulier de processus dans une séquence ou en parallèle du début à la fin, vous créez un pipeline. La conception d'un pipeline est similaire à la construction d'un flux de données, où vous utilisez des opérateurs pour ajouter les tâches et les activités souhaitées. Après avoir construit un pipeline, vous créez une tâche de pipeline qui utilise le pipeline.
Après avoir créé des tâches, vous les publiez dans l'application par défaut dans le service d'intégration de données ou dans une application que vous créez. À partir d'une application, vous exécutez des tâches et surveillez leur progression et leur statut. Vous pouvez également programmer des tâches pour des exécutions automatisées.
Concepts d'intégration de données
Voici une liste des concepts qu'il vous serait utile de connaître lors de l'utilisation du service d'intégration de données :
- Espace de travail
- conteneur pour toutes les ressources d'intégration de données, telles que projets, dossiers, ressources de données, tâches, flux de données, pipelines, applications et programmes, associées à une solution d'intégration de données.
- Projet
- Conteneur pour les ressources de conception, telles que les tâches ou les flux de données et les pipelines.
- Dossier
- Conteneur dans un projet ou un autre dossier pour organiser les ressources de conception.
- Ressource de données
- Représente une source de données telle qu'une base de données, un magasin d'objets, un magasin de fichiers ou de documents, contenant les métadonnées et les détails de connexion de la source de données.
- Connexion
- Contient les détails nécessaires pour établir une connexion à une source de données. Une connexion est toujours associée à une ressource de données. Une ressource de données peut avoir plusieurs connexions.
- Entité de données
- Collection de données, telle qu'une table ou une vue de base de données, ou fichier logique unique, avec de nombreux attributs qui en décrivent les données.
- Schéma
- Collection d'entités de données dans une ressource de données.
- Flux de données
- Ressource de conception qui définit le flux de données et toutes les opérations sur les données entre les systèmes source et cible. Pour exécuter un flux de données, ajoutez-le à une tâche d'intégration.
- Pipeline
- Ressource de conception pour l'orchestration de tâches et d'activités en séquence ou en parallèle, destinée à faciliter l'exécution d'un processus du début à la fin. Pour exécuter un pipeline, vous devez l'ajouter à une tâche de pipeline.
- Opérateur
- Un opérateur représente une source d'entrée ou une cible de sortie, ou une transformation dans un flux de données. Dans un pipeline, un opérateur représente une tâche de conception ou publiée, ou une activité telle que la fusion, la décision et la fin.
- Paramètre
- Type de variable que vous pouvez affecter aux détails d'un opérateur pour pouvoir réutiliser le flux de données ou la conception de pipeline avec différentes ressources et valeurs. Lorsque vous utilisez des paramètres et définissez des valeurs par défaut lors de la conception, vous pouvez ensuite modifier les valeurs plus tard, soit dans les tâches qui encapsulent le flux de données ou le pipeline, soit lorsque vous exécutez les tâches.
- Tâche
- Ressource de conception qui spécifie un ensemble d'actions à exécuter sur les données. Vous pouvez créer des tâches de chargement de données, des tâches d'intégration pour les flux de données et des tâches de pipeline pour les pipelines. Vous pouvez également créer des tâches SQL et des tâches de flux de données OCI. Pour exécuter une tâche, vous devez la publier dans une application pour la tester ou la déployer en production.
- Application
- Conteneur pour les artefacts d'exécution, tels que les tâches qui ont été publiées, avec leurs dépendances. Vous utilisez des applications à des fins de test et de déploiement éventuel en production.
- Correctif
- Mise à jour pour une application. Lors de la publication d'une tâche ou d'un groupe de tâches, ou lors de l'annulation de la publication d'une tâche, ces activités sont enregistrées en tant que correctifs dans une application. Lorsque vous créez une application (cible) en copiant les ressources existantes dans une autre application (source), un correctif est ajouté à l'application ( cible). Lors des actualisations suivantes de l'application cible par synchronisation avec les modifications de l'application source, un correctif est également créé dans l'application (cible).
- Exécution
- Artefact qui représente l'exécution d'une tâche.
- Programme
- Ressource d'exécution qui définit le moment et la fréquence de l'exécution automatique de tâches publiées.
- Programme de tâche
- Ressource d'exécution associée à une tâche publiée spécifique et programme existant qui définit le moment et la fréquence d'exécution automatique de la tâche.
Architectures de référence
Découvrez les architectures de référence disponibles pour vous aider à apprendre comment utiliser Oracle Cloud Infrastructure Data Integration.
Les architectures de référence sont des architectures, des configurations et des pratiques exemplaires pour le déploiement sur Oracle Cloud Infrastructure. Elles sont disponibles dans le centre d'architectures Oracle.
Dans la page principale du centre d'architecture, entrez OCI Data Integration dans le champ de recherche et appuyez sur Entrée.
Voici quelques exemples d'architectures de référence :
Méthodes d'accès à Oracle Cloud Infrastructure
Vous pouvez accéder à Oracle Cloud Infrastructure à l'aide de la console (interface basée sur le navigateur) ou de l'API REST.
Les instructions relatives à la console et à l'API d'intégration de données sont incluses dans les sujets de ce guide. Pour obtenir la liste des trousses SDK disponibles, voir Trousses SDK et l'interface de ligne de commande (Trousses SDK et interface de ligne de commande).
Pour accéder à la console, vous devez utiliser un navigateur pris en charge. Voir Navigateurs pris en charge. Dans le menu de navigation en haut de cette page d'aide, vous pouvez utiliser le lien Console Oracle Cloud pour accéder à la page de connexion. Vous êtes invité à entrer un nom de compte ou une location en nuage. Si vous êtes invité à entrer un domaine d'identité, dans la plupart des cas, laissez-le à Par défaut, puis entrez un nom d'utilisateur et un mot de passe.
Identificateurs de ressource
La plupart des types de ressource Oracle Cloud Infrastructure ont un identifiant unique affecté par Oracle, appelé OCID (identificateur Oracle Cloud).
Pour plus d'informations sur le format des OCID et sur les autres moyens d'identifier les ressources, voir Identificateurs de ressource.
Limites de service et quotas
Limites de service
Le service d'intégration de données vous limite à cinq espaces de travail par région.
Quotas de compartiment
Vous pouvez limiter le nombre de ressources d'espace de travail dans un compartiment en créant un quota. Par exemple :
set data-integration quota dis-workspace-count to 3 in compartment <compartment_name>Temps de conservation
Le service d'intégration de données conserve les espaces de travail supprimés et en échec pendant 15 jours. Après 15 jours, les espaces de travail sont définitivement supprimés.
Services intégrés
Le service d'intégration de données est intégré à divers autres services et fonctions d'Oracle Cloud Infrastructure.
Le service d'intégration de données s'intègre au service OCI IAM avec les domaines d'identité aux fins d'authentification et d'autorisation, pour toutes les interfaces (console, trousse SDK, interface de ligne de commande et API REST).
Un administrateur configure des groupes, des compartiments et des politiques. Les politiques contrôlent qui peut créer des utilisateurs, créer et gérer le réseau en nuage, lancer des instances, créer des seaux, télécharger des objets, etc.
Si vous êtes un utilisateur ordinaire, pas un administrateur, qui doit utiliser les ressources Oracle Cloud Infrastructure de la société, demandez à l'administrateur de configurer l'ID utilisateur pour vous. L'administrateur vous indiquera les compartiments que vous pouvez utiliser.
L'administrateur peut créer des politiques communes pour autoriser les utilisateurs du service d'intégration de données. Il peut également créer des politiques d'intégration des données pour contrôler l'accès des utilisateurs au service d'intégration de données.
Le service d'intégration de données n'est pas intégré à l'API commune des demandes de travail. Il utilise sa propre API pour les demandes de travail. Voir Informations de référence sur le type WorkRequest.
L'explorateur de location vous permet de voir toutes les ressources dont vous disposez dans un compartiment particulier, toutes régions confondues. L'explorateur de location est basé sur le service de recherche et prend en charge le type de ressource d'intégration de données, workspace.
Oracle Cloud Infrastructure Monitoring vous permet de surveiller les ressources du service d'intégration de données, de manière active et passive, à l'aide de mesures et d'alarmes. Les mesures du service d'intégration de données saisissent le nombre d'octets lus et écrits, les exécutions de tâche actives, les exécutions réussies et les exécutions qui ont échoué.
À propos de la sécurité des données
En plus du contrôle et de la transparence que vous obtenez avec la sécurité d'Oracle Cloud Infrastructure, le service d'intégration des données traite également les données avec soin.
L'isolation des clients Oracle Cloud Infrastructure garantit que chaque espace de travail d'intégration de données que vous créez obtient sa propre instance de calcul réservée. Un espace de travail est isolé des autres espaces de travail dans la même location, et des autres locations. Le service d'intégration de données ne stocke aucune donnée dans cette instance de calcul au-delà des exécutions de tâche pour garantir la sécurité des données.
Le service d'intégration de données utilise le service de chambre forte d'Oracle Cloud Infrastructure pour stocker et chiffrer les informations sensibles, telles que les mots de passe, les fichiers de portefeuille pour les ressources de données et les informations de connexion sous forme de clés secrètes. Les schémas et les entités de données sont accessibles en temps réel, au besoin. Lorsqu'un échantillonnage de données est chargé dans l'onglet Données pour un flux de données ou pour configurer des transformations dans la tâche de chargement de données, les données sont chargées à partir de l'entité de données en temps réel.
Affectez uniquement les privilèges requis aux comptes utilisés pour dataintegration. Par exemple, le service d'intégration de données ne requiert qu'un accès en lecture pour ingérer des données à partir de ressources de données.
Pour plus d'informations, voir :
Activités utilisateur typiques d'intégration de données
Voici quelques activités que vous êtes susceptible d'effectuer en tant qu'utilisateur du service d'intégration de données.
| Activité | Description |
|---|---|
| Accès ou création d'espaces de travail | Accéder ou créer une zone de travail pour les projets d'intégration de données et leurs ressources (ressources de données, flux de données, tâches, etc.) |
| Création d'une ressource de données | Enregistrer les sources de données que vous utilisez en tant que ressources de données du service d'intégration de données |
| Création d'une connexion | Ajouter de nouvelles connexions aux ressources de données |
| Utilisation des projets et des dossiers |
Créer des projets et des dossiers pour organiser les artefacts de conception Créer un projet en copiant un projet existant |
| Création d'un flux de données | Concevoir un flux de données |
| Création d'un pipeline | Concevoir un pipeline |
|
Création d'une tâche d'intégration (pour un flux de données) Création d'une tâche de chargement de données Création d'une tâche de flux de données OCI Création d'une tâche de pipeline (pour un pipeline) |
Créer des tâches |
| Création d'applications |
Créer une application pour l'exécution et la programmation des tâches :
|
| Publication de tâches de conception | Publier des tâches dans des applications à des fins de test et d'exécution |
| Exécuter des tâches, puis surveiller leur progression | |
| Programmation des tâches publiées | Créer un programme et des programmes de tâche pour automatiser les exécutions |
| Surveillance d'un espace de travail | Surveiller un espace de travail |
Utilisation de la page Aperçu du service d'intégration de données de la console
Lorsque vous accédez au service d'intégration de données dans la console et que vous sélectionnez Aperçu, la page Aperçu du service d'intégration de données s'affiche.
La page Aperçu fournit des informations sur les fonctions, des liens pour vous aider à démarrer avec le service et des ressources pour une utilisation efficace du service d'intégration de données.
Ressources d'apprentissage pour l'intégration de données
Utilisez les ressources suivantes pour en savoir plus sur Oracle Cloud Infrastructure Data Integration.
-
Vidéos