Répliquer les données de HeatWave vers Amazon Kinesis

Voyez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave vers Amazon Kinesis.

Avant de commencer

Pour terminer ce démarrage rapide, vous devez :

Configuration de l'environnement : HeatWave

Pour configurer l'environnement pour ce démarrage rapide :
  1. Téléchargez le script de données-échantillons, puis exécutez-le sur la base de données HeatWave pour créer la base de données et charger les données.
  2. Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Ouvrez port 3306, par lequel OCI GoldenGate peut se connecter.
    1. Dans la console Oracle Cloud, localisez le sous-réseau utilisé par la base de données HeatWave.
    2. Dans la liste de sécurité du sous-réseau, créez une règle de trafic entrant pour port TCP/3306.

Tâche 1 : Créer des ressources GoldenGate pour OCI

  1. Créez un déploiement MySQL pour la base de données source HeatWave.
  2. Créer un déploiement du service de mégadonnées pour la cible Amazon Kinesis.
  3. Créez une connexion à la base de données Heatwave source.
  4. Connectez-vous à Amazon Kinesis.
  5. Créez une connexion à GoldenGate, puis assignez cette connexion au déploiement MySQL source.
  6. Affectez la connexion source au déploiement MySQL source.
  7. Affectez la connexion cible au déploiement du service de mégadonnées cible.

Tâche 2 : Créer Extract

  1. Dans la page Déploiements, sélectionnez le déploiement MySQL créé au cours de la tâche 1.
  2. Dans la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous à la console du déploiement MySQL source à l'aide des données d'identification d'administrateur spécifiées lors de la création du déploiement au cours de la tâche 1.
  4. Ajoutez une valeur Change Data Capture Extract avec les valeurs suivantes :
    • Extract Type : Change Data Capture Extract
    • Nom du processus : ECDC
    • Extract Trail Name (Nom) : C1
    • Fichier de paramètre : Remplacez MAP *.*, TARGET *.*; par TABLE SRC_OCIGGLL.*;

Tâche 3 : Créer Distribution Path pour cibler le déploiement du service de mégadonnées

  1. Si vous utilisez le magasin de données d'identification IAM, passez à l'étape 3. Si vous utilisez le magasin de données d'identification GoldenGate, créez un utilisateur avec lequel la source GoldenGate utilise pour se connecter à la cible GoldenGate.
    1. Dans la page Déploiements, sélectionnez le déploiement de mégadonnées cible.
    2. Dans la page des détails du déploiement, cliquez sur Lancer la console, puis connectez-vous en tant qu'utilisateur administrateur.
    3. Dans le menu de navigation de la console de déploiement, cliquez sur Administration des utilisateurs.
    4. Cliquez sur Ajouter un utilisateur (icône plus), remplissez les champs comme suit, puis cliquez sur Soumettre :
      • Pour Nom d'utilisateur, entrez ggsnet.
      • Pour Rôle, sélectionnez Opérateur.
      • Entrez deux fois le mot de passe pour vérification.
  2. Dans la console du déploiement source MySQL, créez une valeur Path Connection pour l'utilisateur créé à l'étape précédente.
    1. Ouvrez le menu de navigation, puis cliquez sur Path Connection.
    2. Cliquez sur Ajouter Path Connection (icône plus), remplissez les champs comme suit, puis cliquez sur Soumettre :
      • Pour Alias de données d'identification, entrez dpuser.
      • Pour l'ID utilisateur, entrez ggsnet
      • Pour Mot de passe, entrez le même mot de passe que celui utilisé à l'étape précédente.
  3. Dans la console de déploiement source MySQL, ajoutez une valeur Distribution Path avec les valeurs suivantes :
    1. Dans la page Options sources :
      • Pour Source Extract, sélectionnez Extract créé au cours de la tâche 2.
      • Pour Nom de la piste, entrez un nom à deux caractères, par exemple C1.
    2. Dans la page Options cibles :
      • Pour hôte cible, entrez le domaine hôte du déploiement cible.
      • Pour Numéro de port, entrez 443.
      • Pour Nom de la piste, entrez un nom à deux caractères, par exemple C1.
      • Pour Alias, entrez l'alias de données d'identification créé à l'étape 2.
  4. Dans la console de déploiement du service de mégadonnées OCI GoldenGate cible, vérifiez la valeur Receiver path créée à la suite de Distribution Path :
    1. Cliquez sur Receiver Service.
    2. Vérifiez les détails de Receiver path.

Tâche 4 : Ajouter un réplicat pour Amazon Kinesis

  1. Dans le déploiement du service de mégadonnées, cliquez sur Administration Service, puis sur Ajouter Replicat (icône plus).
  2. Ajoutez une valeur Replicat avec les valeurs suivantes :
    • Pour le type Replicat, sélectionnez Classic Replicat
    • Pour Nom du processus, entrez un nom.
    • Pour Nom de la piste cible, entrez le nom de la piste de la tâche 2.
    • Pour Cible, sélectionnez Amazon Kinesis.
    • Pour Alias disponibles pour Amazon Kinesis, sélectionnez votre alias dans la liste déroulante.
    • Dans la page Fichier de propriétés, modifiez les champs marqués #TODO :
      • gg.handler.kinesis.region : Fournissez la région Amazon Web Services (AWS) pour le flux Kinesis cible.
      • gg.handler.kinesis.streamMappingTemplate : Par défaut, il est réglé à ${tableName} qui mappera les flux en fonction du nom de la table source. Si vous voulez effectuer un mappage à un flux de données existant, vous pouvez fournir des noms de flux statiques ou utiliser des mots clés de modèle pour affecter des noms de flux de manière dynamique.

Tâche 5 : Vérifier la réplication des données de HeatWave vers Amazon Kinesis

Effectuez des mises à jour de la base de données source HeatWave pour vérifier la réplication vers Amazon Kinesis.
  1. Dans l'hôte bastion OCI, créez une session de réacheminement de port SSH à l'aide de l'adresse IP MySQL et de port 3306. Ajoutez votre clé SSH publique.
  2. Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et de port 3306.
  3. Après la connexion, exécutez la commande suivante :
    mysqlsh admin@localhost:3306 --sql
  4. Exécutez le script suivant pour effectuer des entrées dans la base de données HeatWave :
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Dans la console de déploiement MySQL source, sélectionnez le nom Change Data Capture Extract (CDCEXT), puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 inserts.
  6. Dans la console de déploiement du service de mégadonnées cible, sélectionnez le nom Replicat, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 inserts.
  7. Dans Amazon Kinesis, vous pouvez vérifier les messages dans le flux de données/visualiseur de données cible.