Remarques :
- Ce tutoriel nécessite un accès à Oracle Cloud. Pour vous inscrire à un compte gratuit, reportez-vous à Introduction au niveau gratuit d'Oracle Cloud Infrastructure.
- Il utilise des exemples de valeurs pour les informations d'identification, la location et les compartiments Oracle Cloud Infrastructure. Lorsque vous terminez votre atelier, remplacez ces valeurs par celles propres à votre environnement cloud.
Création de la réplication de données Fusion SaaS dans Oracle Autonomous Data Warehouse à l'aide d'OCI Data Integration
Introduction
Oracle Cloud Infrastructure Data Integration est un service colocatif entièrement géré qui aide les ingénieurs données et les développeurs à effectuer des tâches de déplacement et de chargement de données. Optimisé par les processus d'extraction, de transformation et de chargement (ETL) Spark ou d'extraction, de chargement et de transformation (ELT), un grand volume de données peut être assimilé à partir de diverses ressources de données, nettoyé, transformé et remodelé, et chargé efficacement vers les ressources de données cible Oracle Cloud Infrastructure (OCI).
Deux outils peuvent être utilisés pour exporter des données en masse à partir d'Oracle Fusion Cloud ERP (Oracle Cloud ERP) : Oracle Business Intelligence Publisher (BI Publisher) et Oracle Business Intelligence Cloud Connector (BICC).
-
Business Intelligence Publisher est essentiellement un outil de reporting. Il n'est pas recommandé d'utiliser les états BI Publisher à des fins générales d'extraction de données. Pour extraire des volumes de données moyens à élevés, le BICC est l'outil préféré.
-
Oracle Business Intelligence Cloud Connector est un outil Oracle utilisé pour ingérer des données Oracle Fusion Cloud ERP vers un stockage externe pour la consommation BI. Il est disponible dans le cadre de l'abonnement à Oracle Cloud Applications. BICC est livré avec de nombreuses fonctionnalités, y compris l'ingestion de données au stockage, la planification et l'automatisation des extractions.
Objectif
- Dans ce tutoriel, nous vous montrerons comment créer une connexion à votre environnement Fusion SaaS via BICC vers Oracle Autonomous Data Warehouse (ADW) à l'aide du service OCI Data Integration. Le service OCI Data Integration est un service cloud natif d'ETL et d'ELT pour le déplacement, l'intégration et la transformation de données. Il s'agit d'un service entièrement géré avec une conception graphique facile à utiliser et une visualisation du flux de données avant le chargement.
Prérequis
-
Accès à une location OCI.
-
ADW et OCI Object Storage provisionnés.
Tâche 1 : provisionnement de la connectivité réseau
Pour configurer OCI Data Integration, nous devons d'abord provisionner les composants réseau.
Lors de la création de composants réseau, vous disposez de deux options en fonction de votre cas d'emploi dans lequel vous pouvez configurer votre espace de travail d'intégration des données.
-
Connectez-vous à la console OCI, accédez à Fonctions de réseau et à Réseaux cloud virtuels.
-
Sélectionnez le compartiment dans lequel vous voulez vos ressources et cliquez sur Démarrer l'assistant VCN.
-
Sélectionnez Créer un VCN avec la connectivité Internet. Cela mettra en place toutes les ressources associées requises pour que votre VCN se connecte à Internet.
Cette configuration de VCN créera automatiquement un sous-réseau public et privé pour vous avec une passerelle Internet pour la connectivité à l'Internet extérieur. Votre VCN ressemblera à :
Les tables de routage des sous-réseaux publics et privés sont créées automatiquement. Si vous créez vos ressources dans le sous-réseau privé, assurez-vous qu'un routage vers Tous les services dans Oracle Services Network est ajouté à votre table de routage.
Si vous disposez de ressources dans un sous-réseau privé et que vous avez des préoccupations concernant la sécurité, reportez-vous à Présentation de la configuration VCN pour Oracle Cloud Infrastructure (OCI) Data Integration.
Tâche 2 : création d'un bucket OCI Object Storage
-
Accédez à la console OCI, accédez à Stockage, à Buckets et cliquez sur Créer un bucket.
Le bucket est créé.
Tâche 3 : connexion à Autonomous Database
En supposant que vous avez déjà provisionné ADW, à partir de la console OCI,
-
Accédez à la console OCI, puis à Bases de données Oracle et à Autonomous Data Warehouse.
-
Dans Compartiment, sélectionnez votre ADW.
-
Cliquez sur Connexion à la base de données pour télécharger le portefeuille.
-
Cliquez sur Télécharger et enregistrez-le sur votre système local.
Tâche 4 : provisionnement d'OCI Data Integration
Pour créer une intégration de données, vous devez disposer de certaines stratégies.
-
Accédez à la console OCI, accédez à Identité et sécurité et à Stratégies.
-
Dans le compartiment racine, cliquez sur Créer une stratégie, sélectionnez Afficher l'éditeur manuel et ajoutez les stratégies suivantes.
-
Pour créer un espace de travail d'intégration de données et afficher les utilisateurs :
allow group <group-name> to manage dis-workspaces in compartment <compartment-name> allow group <group-name> to manage dis-work-requests in compartment <compartment-name> allow service dataintegration to inspect users in tenancy
-
Activer l'accès privé dans l'espace de travail :
allow service dataintegration to use virtual-network-family in compartment <compartment-name> allow group <group-name> to manage virtual-network-family in compartment <compartment-name>
-
Pour OCI Object Storage requis pour la base de données autonome et Oracle Fusion Applications :
allow group <group-name> to use object-family in compartment <compartment-name> allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’} allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’} allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
-
Pour la base de données autonome :
allow group <group-name> to read autonomous-database-family in compartment <compartment-name>
-
-
Cliquez sur Créer. Une fois toutes les stratégies en place, accédez au service Data Integration pour créer un espace de travail.
-
Accédez à la console OCI, accédez à Analytics et IA et à Data Integration.
-
Sélectionnez Espaces de travail, sélectionnez votre compartiment et Créer un espace de travail.
-
Entrez le nom de l'espace de travail et sélectionnez Activer le réseau privé en tant que sélection de réseau.
-
Cliquez sur Créer.
Tâche 5 : extraire des données d'Oracle Fusion Cloud ERP vers ADW
Tâche 5.1 : connexion du bucket OCI à BICC
Nous allons maintenant créer une connexion dans BICC, qui est le composant d'Oracle Fusion Applications, qui vous permet d'interagir et d'extraire des données de différentes applications.
Nous connecterons BICC au stockage externe, qui est le bucket OCI dans notre cas. Le bucket OCI fait office de zone intermédiaire dans laquelle tous les fichiers extraits de BICC seront stockés avant d'être extraits dans ADW via OCI Data Integration.
-
Entrez l'URL de votre BICC, au format suivant : https://fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com/biacm.
Vous serez dirigé vers la console BICC.
-
Dans le panneau de droite, sélectionnez Configurer le stockage externe.
-
Cliquez sur Connexion au stockage d'objet OCI et sur + pour ajouter une nouvelle connexion au stockage d'objet OCI et vous serez dirigé vers la nouvelle console de connexion.
-
Dans la section Paramètres OCI, entrez les informations suivantes.
-
Nom : Entrez un nom pour la connexion de stockage.
-
Hôte : l'hôte sera l'un des suivants en fonction de votre région.
-
objectstorage.ap-mumbai-1.oraclecloud.com
-
objectstorage.ap-seoul-1.oraclecloud.com
-
objectstorage.ap-sydney-1.oraclecloud.com
-
objectstorage.ap-tokyo-1.oraclecloud.com
-
objectstorage.ca-toronto-1.oraclecloud.com
-
objectstorage.eu-frankfurt-1.oraclecloud.com
-
objectstorage.eu-zurich-1.oraclecloud.com
-
objectstorage.sa-saopaulo-1.oraclecloud.com
-
objectstorage.uk-london-1.oraclecloud.com
-
objectstorage.us-ashburn-1.oraclecloud.com
-
objectstorage.us-phoenix-1.oraclecloud.com
Remarque : pour obtenir d'autres paramètres requis, vous devez accéder à la console OCI.
-
-
OCID de location : entrez un OCID de location.
-
Espace de noms : entrez l'espace de noms.
-
OCID utilisateur : accédez à la console OCI, cliquez sur votre nom utilisateur et copiez l'OCID.
-
Nom de bucket : entrez le nom de bucket OCI Object Storage créé dans la section Prérequis.
-
-
Cliquez sur Générer une clé de signature d'API pour générer l'empreinte et Exporter la clé publique afin d'exporter la clé publique dans votre système local.
-
Accédez à la console OCI. Sur la page Détails utilisateur, cliquez sur Clés d'API, Ajouter une clé d'API et collez le fichier
oci_api_key
. -
Cliquez sur Choisir un fichier de clés publiques et sélectionnez le fichier téléchargé à la dernière étape.
Cette opération génère l'empreinte et l'ajoute à la liste des clés d'API de votre utilisateur. Vous verrez que l'empreinte créée est identique à celle générée dans la console BICC.
-
Accédez à la console BICC et sélectionnez Tester la connexion.
-
Un message de connexion Succès apparaît. Cliquez sur Ok et enregistrez la connexion.
Une fois la connexion au bucket OCI Object Storage établie à partir de la console BICC, nous allons créer les connexions dans le service OCI Data Integration.
Tâche 5.2 : création de connexions dans OCI Data Integration
-
Accédez à la console OCI, accédez à Analytics et IA et à Data Integration.
-
Cliquez sur Espaces de travail, sélectionnez le compartiment et l'espace de travail d'intégration de données créés dans la tâche 4.
-
Dans la console OCI Data Integration, créez les ressources de données.
Dans notre ressource de données, notre système source est la connexion BICC et la connexion cible est ADW. Pour créer une ressource de données ADW, le prérequis est de créer également une ressource de données OCI Object Storage. Nous allons donc créer 3 ressources de données.
- BICC
- OCI Object Storage
- ADW
Cliquez sur Créer une ressource de données.
-
Dans la liste des sources de données, sélectionnez le connecteur Fusion Apps – BICC.
-
Dans la section Informations générales, saisissez les informations suivantes.
-
Nom : entrez un nom (par exemple,
ERP_CloudConn
). -
Type : sélectionnez Oracle Fusion Applications.
-
Hôte des applications Fusion Oracle : lien vers votre environnement Fusion (par exemple,
fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com
).
-
-
Dans la section Informations de connexion par défaut, entrez les informations suivantes et Tester la connexion.
-
Type : sélectionnez Oracle BI Cloud Connector.
-
Nom utilisateur : entrez votre nom utilisateur BICC.
-
Sélectionnez Utiliser le mot de passe.
-
Mot de passe : entrez le mot de passe BICC.
-
Configuration de stockage externe BICC par défaut : sélectionnez la connexion de stockage externe créée dans la console BICC.
-
-
-
Une fois le statut de connexion Succès, cliquez sur Créer.
-
Dans Sélectionner un type de ressource de données, sélectionnez OCI Object Storage.
Entrez le nom de la connexion (
ObjectStorageConn
). Vous remarquerez que d'autres champs sont remplis automatiquement dans votre location OCI Data Integration. Laissez les autres champs tels quels et cliquez sur Tester la connexion. -
Une fois la connexion établie, cliquez sur Créer.
Remarque : veillez à ajouter les stratégies mentionnées dans les prérequis de ce document avant de créer une connexion à OCI Object Storage et à ADW dans OCI Data Integration.
-
Cliquez sur Créer une ressource de données. Dans Sélectionner un type de ressource de données, sélectionnez Oracle ADW.
-
Dans Informations générales, entrez les informations suivantes.
-
Nom : entrez
ADWTarget
. -
Type : sélectionnez Oracle Autonomous Data Warehouse.
-
Sélectionnez Télécharger le portefeuille.
-
Fichier de portefeuille : sélectionnez le fichier de portefeuille téléchargé lors des étapes initiales de téléchargement de la connexion de base de données à partir d'ADW.
-
Mot de passe de portefeuille (facultatif) : ajoutez un mot de passe de portefeuille.
-
-
Dans Informations de connexion par défaut, entrez les informations suivantes.
-
Nom utilisateur : entrez
admin
. -
Sélectionnez Utiliser le mot de passe.
-
Mot de passe : entrez le mot de passe de l'administrateur ADW.
-
Alias TNS : sélectionnez l'une des options haute, moyenne et basse disponibles.
-
-
Dans Emplacement de préparation par défaut, entrez les informations suivantes.
-
Ressource de données Object Storage : sélectionnez la ressource de données (
ObjectStorageConn
) créée dans les étapes précédentes. -
Connexion : sélectionnez Connexion par défaut.
-
Compartiment : dans la liste des compartiments, sélectionnez le compartiment dans lequel réside le bucket OCI Object Storage.
-
Bucket : sélectionnez le bucket qui a été connecté à BICC.
-
-
-
Cliquez sur Tester la connexion pour tester la connexion. Après la connexion Succès, cliquez sur Créer.
-
Accédez à la console OCI Data Integration et sélectionnez Ressources de données.
-
Dans les ressources de données, nos trois ressources de données seront créées. Un pour BICC, un pour OCI Object Storage et un pour ADW.
Tâche 5.3 : créer un flux de données
Dans OCI Data Integration, nous avons deux options : l'une consiste à créer une tâche de programme de chargement de données et l'autre à créer un flux de données.
-
Chargeur de données : il est principalement utilisé pour le chargement simple de divers ensembles de données dans des lacs de données, des centres de données et des entrepôts. Une tâche de programme de chargement de données prend une entité de données source, l'applique (facultatif), puis la charge dans une nouvelle entité de données cible ou la met à jour. Les tâches de programme de chargement de données prennent en charge les transformations au niveau des métadonnées et des données.
-
Flux de données : il s'agit d'un diagramme logique représentant le flux des données des ressources de données source, telles qu'une base de données ou un fichier plat, vers les ressources de données cible, telles qu'un lac de données ou un entrepôt de données. Le flux de données de la source vers la cible peut subir une série de transformations visant à agréger, nettoyer et mettre en forme les données. Les ingénieurs de données et les développeurs ETL peuvent ensuite analyser ou collecter des informations et les utiliser pour prendre des décisions commerciales importantes.
Dans ce tutoriel, nous allons créer un flux de données. Dans OCI Data Integration, nous allons d'abord créer un projet qui servira de conteneur pour les ressources de conception, telles que les tâches ou les flux de données et les pipelines.
-
Dans la console OCI Data Integration, sélectionnez Projets.
-
Sélectionnez Créer.
-
Sur la page de détails du projet, cliquez sur Flux de données, puis sélectionnez Créer un flux de données.
-
Sur la page Flux de données, vous pouvez modifier le nom.
-
Sur la page Opérateurs, faites glisser la source vers le canevas. Les détails de la propriété du connecteur source seront ouverts en bas.
-
Dans Propriétés, saisissez les informations suivantes :
-
Identificateur : entrez
ERP_Financial
. -
Ressource de données : sélectionnez la ressource de données ERP créée dans OCI Data Integration.
-
Connexion : sélectionnez Connexion par défaut.
-
Schéma : sélectionnez Schéma financier.
-
Entité de données : sélectionnez Tout visualiser et le type sera
FscmTopModelAM.FinExtractAM.ArBiccExtractAM.CustomerProfileClassExtractPVO
, puis cliquez sur Entrée.Cochez la case du profil client Objets vue publics (PVO) et Sélectionner.
Sélectionnez Stratégie d'extraction comme Complet. En cas de chargements incrémentiels, vous pouvez sélectionner Incrémentiel.
La date d'extraction initiale est facultative. Conservez-la telle quelle. Sinon, si nécessaire pour planifier le lien d'extraction, vous pouvez le faire dans ce champ.
-
Stockage de configuration externe BICC : sélectionnez le nom de la connexion de stockage externe créée dans la console BICC.
A la fin, vous verrez tous les champs sélectionnés pour votre table source.
-
-
Sur la page Opérateurs, glissez-déplacez le connecteur Cible vers le canevas.
-
Dans Propriétés, saisissez les informations suivantes :
-
Identificateur : entrez
ERPCustomerDetail
. -
Sélectionnez Créer une entité de données.
-
Ressource de données : sélectionnez la ressource de données ADW créée dans OCI Data Integration.
-
Connexion : sélectionnez Connexion par défaut.
-
Schéma : sélectionnez Tout afficher et Administration.
-
Entité de données : comme nous sommes en train de créer une entité de données dans le ADW cible, nommez la table à créer.
-
Emplacement de préparation : sélectionnez Utiliser l'emplacement de préparation par défaut.
-
Stratégie d'intégration : sélectionnez Insérer.
-
-
Accédez au canevas, connectez l'opérateur source (
ERP_Financial
) à l'opérateur cible (ERPCustomerData
). -
Cliquez sur Valider.
-
Après la validation, cliquez sur Créer et fermer.
Une fois cela fait, nous pouvons voir le flux de données dans notre projet.
-
Ensuite, créez une tâche d'intégration.
Les tâches d'intégration dans OCI Data Integration vous permettent de reprendre votre conception de flux de données et de sélectionner les valeurs de paramètre à utiliser lors de l'exécution. A l'aide des tâches d'intégration, vous pouvez créer plusieurs tâches avec des configurations distinctes pour le même flux de données.
Dans le dossier Projet, accédez à Tâches, Créer une tâche et Intégration.
-
Sur la page Créer une tâche d'intégration, saisissez les informations suivantes.
- Nom : entrez le nom de la tâche.
- Projet ou dossier : sélectionnez le nom du projet ou du dossier.
- Sélectionnez le flux de données créé de l'ERP vers ADW.
-
Une fois la validation Succès effectuée, cliquez sur Créer et fermer.
-
Sur la page de votre projet, un flux de données et une tâche sont créés.
-
Pour publier la tâche, nous devons créer une application.
Application est un conteneur pour les tâches publiées, les flux de données et leurs dépendances. Vous pouvez exécuter des tâches publiées dans une application à des fins de test ou les déployer en production.
Accédez à la console OCI Data Integration, accédez à Applications et sélectionnez Créer une application, Créer.
-
Sélectionnez Créer une application vide, entrez un nom et cliquez sur Créer.
-
Accédez à Projets et sélectionnez votre dossier de projet.
-
Cliquez sur Tâches, sélectionnez votre tâche d'intégration et cliquez sur Publier vers l'application.
-
Sélectionnez Nom de l'application et cliquez sur Publier.
-
Accédez à la console OCI Data Integration, sélectionnez Applications et cliquez sur l'application.
-
Sur la page de détails de l'application, cliquez sur Tâches pour afficher la tâche d'intégration.
-
Cliquez sur les trois points.
-
Cliquez sur Exécuter. Pour planifier l'exécution ultérieurement, vous pouvez sélectionner Planifier.
Notre tâche s'exécutera dans le dossier d'application Exécutions.
-
Une fois l'exécution réussie, nous irons à notre ADW pour vérifier.
Accédez à la console OCI, puis à Oracle Database et à Autonomous Data Warehouse. Sélectionnez l'instance ADW.


-
Sur la page Détails de l'instance Autonomous Database, sélectionnez SQL dans le menu déroulant Actions de base de données.
Dans l'éditeur SQL, vous verrez que dans l'utilisateur ADMIN, la table que nous avons créée dans notre flux de données a été créée.
-
Exécutez l'instruction suivante dans SQL Worksheet.
select * from ADMIN.ERPCUSTOMERDATA;
Il affichera toutes les données de votre fichier de données d'application ERP financière.
-
En plus d'ADW, si nous accédons à notre bucket OCI Object Storage, nous trouverons nos données de fichier extraites dans notre bucket agissant comme emplacement de préparation.
Cela permet d'extraire les données d'Oracle Fusion Cloud ERP vers ADW à l'aide d'OCI Data Integration.
Etapes suivantes
Vous avez vu un cas d'utilisation simple de la façon de déplacer les données d'Oracle Fusion Cloud ERP vers ADW à l'aide du service OCI Data Integration. Vous pouvez personnaliser le plan de migration en fonction des exigences de votre application. Pour plus de détails, reportez-vous à la documentation du service OCI Data Integration dans la section Liens connexes.
Liens connexes
Remerciements
- Auteur - Sugandha Kher (ingénieur cloud senior, ingénierie cloud en Amérique du Nord)
Ressources de formation supplémentaires
Explorez d'autres ateliers sur docs.oracle.com/learn ou accédez à d'autres contenus de formation gratuits sur le canal Oracle Learning YouTube. De plus, visitez le site education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.
Pour obtenir la documentation produit, consultez le site Oracle Help Center.
Create Fusion SaaS Data Replication into Oracle Autonomous Data Warehouse using OCI Data Integration
G24928-01
January 2025