Réplication de données de HeatWave vers Google Cloud Storage

Découvrez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave vers Google Cloud Storage.

Avant de commencer

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

OCI Bastion, pour vous connecter à HeatWave Database, chargez l'exemple de base de données et effectuez des insertions.
Une base de données HeatWave servant de base de données source.
Compte Google Cloud Storage et clé de compte Google Cloud Service
Droits d'accès aux objets et aux buckets Google Cloud Storage

Configuration de l'environnement : HeatWave

Afin de configurer l'environnement pour ce démarrage rapide, procédez comme suit :

Téléchargez l'exemple de script des données, puis exécutez-le sur la base de donnée HeatWave sur OCI pour créer la base de donnée et charger les données.

Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Ouvrez le port port 3306, via lequel OCI GoldenGate peut se connecter.
1. Dans la console Oracle Cloud, localisez le sous-réseau que la base de données HeatWave sur OCI utilise.
2. Dans la liste de sécurité du sous-réseau, créez une règle d'entrée pour port TCP/3306.

Tâche 1 : créer les ressources OCI GoldenGate

Créez un déploiement MySQL pour la base de données HeatWave source.
Créez un déploiement Big Data pour le stockage Google Cloud cible.
Créez une connexion à la base de données MySQL Heatwave source.
Connexion à Google Cloud Storage.
Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement MySQL source.
Affectez la connexion source au déploiement MySQL source.
Affectez la connexion cible au déploiement Big Data cible.

Tâche 2 : créer l'extraction

Sur la page Déploiements, sélectionnez le déploiement MySQL créé dans la tâche 1.
Sur la page de détails du déploiement, sélectionnez Lancer la console.
Connectez-vous à la console de déploiement MySQL source à l'aide des informations d'identification d'administrateur indiquées lors de la création du déploiement dans la tâche 1.
Ajoutez une extraction de capture des données de modification avec les valeurs suivantes :
- Type d'extraction : Extraction de capture des données de modification
- Process Name (Nom du processus) : ECDC
- Nom de trace d'extraction : C1
- Fichier de paramètres : remplacez MAP *.*, TARGET *.*; par TABLE SRC_OCIGGLL.*;.

Tâche 3 : créer le chemin de distribution pour le déploiement Big Data cible

Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape 3. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel GoldenGate source se connecte à GoldenGate cible.
1. Sur la page Déploiements, sélectionnez le déploiement Big Data cible.
2. Sur la page de détails du déploiement, sélectionnez Lancer la console, puis connectez-vous en tant qu'administrateur.
3. Dans le menu de navigation de la console de déploiement, sélectionnez Administration des utilisateurs.
4. Sélectionnez Ajouter un nouvel utilisateur (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :
  - Dans Nom utilisateur, entrez ggsnet.
  - Dans Rôle, sélectionnez Opérateur.
  - Indiquez le mot de passe à deux reprises pour vérification.
Dans la console du déploiement MySQL source , créez une connexion de chemin pour l'utilisateur créé à l'étape précédente.
1. Ouvrez le menu de navigation, puis sélectionnez Connexion de chemin.
2. Sélectionnez Ajouter une connexion de chemin (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :
  - Dans Alias d'informations d'identification, entrez dpuser.
  - Dans ID utilisateur, entrez ggsnet.
  - Dans Mot de passe, entrez le même mot de passe que celui utilisé à l'étape précédente.
Dans la console de déploiement MySQL source, ajoutez un chemin de distribution avec les valeurs suivantes :
1. Sur la page Options source :
  - Dans Extraction source, sélectionnez l'extraction créée dans la tâche 2.
  - Dans Nom de la trace, saisissez un Nom à deux caractères, tel que C1
2. Sur la page Options cible :
  - Dans Hôte cible, entrez le domaine hôte du déploiement cible.
  - Dans Numéro de port, saisissez 443.
  - Dans Nom de la trace, saisissez un Nom à deux caractères, tel que C1
  - Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.
Dans la console de déploiement Big Data OCI GoldenGate cible, vérifiez le chemin de destinataire créé consécutivements au chemin de distribution :
1. Sélectionnez Service du destinataire.
2. Vérifiez les détails du chemin du destinataire.

Tâche 4 : ajouter une réplication pour le stockage Google Cloud

Dans le déploiement Big Data, sélectionnez Réplications, puis Ajouter une réplication (icône Plus).
Ajoutez une réplication avec les valeurs suivantes :
1. Sur la page Informations sur la réplication, sous Type de réplication, sélectionnez Réplication classique et entrez un nom de processus.
2. Dans la page Replicat Options :
  - Dans Nom, saisissez le nom de l'élément de trace dans la tâche 2.
  - Pour Cible, sélectionnez Google Cloud Storage.
  - Dans Alias, sélectionnez la connexion à Google Cloud Storage créée dans la tâche 1.
3. Sur la page Paramètres de réplication, laissez la valeur par défaut.
4. Sur la page Fichier de propriétés, recherchez gg.eventhandler.gcs.bucketMappingTemplate=<gcs bucket> et remplacez <gcs bucket> par le nom du bucket. Si vous n'avez pas de bucket, OCI GoldenGate en crée un pour vous.
5. Sélectionnez Créer et exécuter.

Tâche 5 : vérification de la réplication de données de HeatWave vers Google Cloud Storage

Effectuez les mises à jour de la base de données HeatWave source pour vérifier la réplication vers Google Cloud Storage.

Dans OCI Bastion, créez une session de transmission de port SSH à l'utilisation de l'adresse IP MySQL et du port port 3306. Ajoutez la clé SSH publique.
Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et du port port 3306.
Une fois la connexion établie, exécutez la commande suivante :
```
mysqlsh admin@localhost:3306 --sql
```

Exécutez le script suivant pour effectuer des insertions dans la base de données HeatWave :

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

Dans la console du déploiement MySQL source, sélectionnez le nom de l' extraction de capture de données de modification (ECDC), puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
Dans la console de déploiement Big Data cible, sélectionnez le nom de réplication, puis Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
Dans Amazon Kinesis, vous pouvez vérifier les messages dans le flux de données cible / visualiseur de données.