Réplication de données d'Autonomous AI Transaction Processing vers Azure Synapse Analytics

Ce démarrage rapide montre comment configurer une réplication de données d'Autonomous AI Transaction Processing vers Azure Synapse Analytics à l'aide d'OCI GoldenGate.

Avant de commencer

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

Espace de travail Azure Synapse Analytics
Conteneur de stockage Azure associé à Azure Synapse Analytics Workspace
Informations d'identification au niveau de la base de données Azure Synapse Analytics pour accorder des droits d'accès au pool SQL afin d'accéder au compte de stockage
Existence de la table cible : les tables cible doivent exister dans la base de données Synapse avant la réplication. Comme GoldenGate utilise l'instruction SQL Merge, la table cible doit être une table distribuée de hachage.
Connexion OCI GoldenGate Azure Data Lake Storage affectée au déploiement. Si elle n'existe pas, créez une connexion de stockage Azure Data Lake et affectez-la au déploiement.

Configuration de l'environnement : traitement des transactions Autonomous AI

Si aucune base de données source n'est configurée pour la réplication, procédez comme suit afin de charger un schéma échantillon à utiliser avec le démarrage rapide. Ce démarrage rapide utilise le traitement des transactions Autonomous AI pour la base de données source.

Pour configurer le traitement des transactions Autonomous AI source, procédez comme suit :

Téléchargez et décompressez le schéma échantillon de base de données.
Dans la console Oracle Cloud, sélectionnez votre instance Autonomous AI Transaction Processing (ATP) sur la page des bases de données Autonomous AI pour en visualiser les détails et accéder à Database Actions.
Déverrouillez l'utilisateur GGADMIN :
1. Sélectionnez Database actions, puis Database Users (Utilisateurs de base de données).
2. Localisez GGADMIN, puis sélectionnez son menu représentant des points de suspension (trois points) et sélectionnez Modifier.
3. Dans le panneau Modifier l'utilisateur, entrez le mot du passe GGADMIN, confirmez le mot du passe, puis désélectionnez Compte verrouillé.
4. Sélectionnez Apply Changes (Appliquer les modifications).
Chargez le schéma échantillon source et les données :
1. Dans le menu Actions Database, sous Développement, sélectionnez SQL.
2. Copiez le script d'OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql et collez- le dans la feuille SQL Worksheet.
3. Sélectionnez Exécuter le script. L'onglet Sortie de script affiche des messages de confirmation.
4. Effacez la feuille SQL Worksheet, puis copiez et collez le script SQL à partir de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.
  
  A savoir : Vous devrez peut- être exécuter chaque instruction séparément pour que l'outil SQL parvien à exécuter les scripts.
5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez les tables de leurs listes déroulantes respectives.
Activez la journalisation supplémentaire :
1. Effacez la feuille de calcul SQL.
2. Entrez l'instruction suivante, puis sélectionnez Exécuter l'instruction :
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Configuration de l'environnement : Azure Synapse Analytics

Ouvrez Azure Synapse Analytics Workspace.
Sélectionnez Nouveau, puis Script SQL.
Connectez-vous au pool SQL et sélectionnez la base de données.
Pour créer un cryptage de clé maître, entrez la commande suivante :
```
CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>';
```
Utilisez la commande suivante pour créer des informations d'identification de niveau base de données :

Veillez à remplacer les espaces réservés <storage-account-name> et <storage-account-access-key> par leurs valeurs réelles.
```
CREATE DATABASE SCOPED CREDENTIAL <credential name>
WITH
IDENTITY='<storage-account-name>',
SECRET='<storage-account-access-key>';
```

Exécutez le script de création de table :

CREATE TABLE [dbo].[SRC_CUSTOMER] (
   CUSTID         NUMERIC(10) NOTNULL,
   DEAR           NUMERIC(1),
   LAST_NAME      VARCHAR(50),
   FIRST_NAME     VARCHAR(50),
   ADDRESS        VARCHAR(100),
   CITY_ID        NUMERIC(10),
   PHONE          VARCHAR(50),
   AGE            NUMERIC(3),
   SALES_PERS_ID  NUMERIC(10),
   constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED
)
WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO

Vérifiez que la table dbo.SRC_Customer est créée.

Tâche 1 : créer les ressources OCI GoldenGate

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.

Créez un déploiement Oracle pour l'instance Autonomous AI Transaction Processing source.
Créez un déploiement Big Data pour l'analyse synchrone Azure cible.
Créez une connexion au traitement des transactions Autonomous AI source.
Créez une connexion Azure Synapse Analytics.
Créez une connexion Azure Data Lake Storage.
Affectez la connexion Autonomous AI Transaction Processing au déploiement Oracle source.
Affectez une connexion Azure Synapse Analytics au déploiement Big Data cible.

Tâche 2 : ajouter l'extraction

Sur la page Déploiements, sélectionnez le déploiement Autonomous AI Transaction Processing source.
Sur la page de détails du déploiement, sélectionnez Lancer la console.
Connectez-vous avec le nom utilisateur et le mot de passe de l'administrateur du déploiement source.
Ajoutez une extraction.

Tâche 3 : ajouter et exécuter le chemin de distribution

Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur pour le chemin de distribution dans le déploiement Big Data de la cible, sinon passez à l'étape 3.
Dans la console de déploiement GoldenGate source, ajoutez une connexion de chemin pour l'utilisateur créé à l'étape 1.
1. Dans la console de déploiement GoldenGate source, sélectionnez Connexions de chemin dans la navigation de gauche.
2. Sélectionnez Ajouter une connexion de chemin (icône Plus), puis procédez comme suit :
  1. Dans Alias d'informations d'identification, entrez GGSNetwork.
  2. Dans ID utilisateur, saisissez le nom de l'utilisateur créé à l'étape 1.
  3. Indiquez le mot de passe de l'utilisateur à deux reprises pour vérification.
3. Sélectionnez Soumettre.
  
  La connexion par chemin apparaît dans la liste Connexions par chemin.
Dans la console de déploiement source, ajoutez un chemin de distribution avec les valeurs suivantes :
1. Sur la page Options source :
  - Dans Extraction source, sélectionnez l'extraction créée dans la tâche 2.
  - Dans Nom de la trace, saisissez un Nom à deux caractères, tel que E1
2. Sur la page Options cible :
  - Dans Hôte cible, entrez le domaine hôte du déploiement cible.
  - Dans Numéro de port, saisissez 443.
  - Dans Nom de la trace, saisissez un Nom à deux caractères, tel que E1
  - Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.
Dans la console de déploiement Big Data de la cible cible, vérifiez le Chemin de destinataire créé consécutivements au chemin de distribution.
1. Dans la console de déploiement Big Data cible, sélectionnez Service de destinataire.
2. Consultez les détails du chemin. Ce chemin a été créé consécutivement à la création du chemin de distribution, à l'étape précédente.

Tâche 4 : ajouter et exécuter la réplication

Dans la console de déploiement Big Data cible, sélectionnez Réplications, puis Ajouter une réplication (icône Plus).
Ajoutez une réplication avec les valeurs suivantes :
1. Sur la page Informations sur le processus, sous Type de processus, sélectionnez Réplication classique, entrez un nom de processus, puis sélectionnez Suivant.
2. Dans la page Options de réplication :
  - Dans Nom, saisissez le nom de l'élément de trace dans la tâche 2.
  - Pour Domaine, sélectionnez un domaine.
  - Dans Alias, sélectionnez la connexion Azure Synapse Analytics créée dans la tâche 1.
  - Dans Table de point de reprise, sélectionnez la table du point de reprise créée pour le déploiement cible.
3. Sur la page Paramètres de réplication, remplacez MAP *.*, TARGET *.*; par l'élément suivant :
```
MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER;
```
4. Dans la page Propriétés de réplication, configurez les propriétés Azure Synapse Analytics :
  
  Remarque : modifiez les propriétés marquées comme TODO.
  - gg.eventhandler.abs.bucketMappingTemplate est le conteneur de stockage Azure associé à l'espace de travail Azure Synapse Analytics
  - gg.eventhandler.synapse.credential est le nom des informations d'identification utilisées pour authentifier le conteneur de stockage Azure associé à l'espace de travail Azure Synapse Analytics
Sélectionnez Créer et exécuter.

Vous revenez à la page de présentation, dans laquelle vous pouvez consulter les détails de la réplication.

Tâche 5 : vérifier la réplication

Effectuez certaines mises à jour de l'instance Autonomous AI Transaction Processing source pour vérifier la réplication vers Azure Data Lake Storage.

Dans la console Oracle Cloud, ouvrez le menu De navigation, sélectionnez Oracle AI Database, puis Traitement des transactions par IA autonome.
Dans la liste des instances Autonomous AI Transaction Processing, sélectionnez votre instance source pour en visualiser les détails.
Sur la page de détails de la base de données, sélectionnez Database Actions.

Remarque : Vous devez être connecté automatiquement. Sinon, connectez-vous avec les informations d'identification de base de données.
Sur la page d'accueil de Database Actions, sélectionnez SQL.
Entrez ce qui suit dans la feuille de calcul et cliquez sur Exécuter le script.

Dans la console de déploiement GoldenGate OCI GoldenGate source, sélectionnez le nom de l'extraction, puis sélectionnez Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CUSTOMER comporte 7 insertions.

Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22)

Dans la console de déploiement Big Data OCI GoldenGate cible, sélectionnez le nom de réplication, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CUSTOMER comporte 7 insertions.
Dans la console Azure, accédez à la console Azure Synapse Analytics Workspace. Exécutez Select * dans dbo.SRC_CUSTOMER et vérifiez que SRC_OCIGGLL.SRC_CUSTOMER comporte 7 insertions.