Répliquer les données de HeatWave vers Amazon Kinesis

Découvrez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave vers Amazon Kinesis.

Avant de commencer

Pour réussir ce démarrage rapide, vous devez disposer des éléments suivants :

Environnement configuré : HeatWave

Afin de configurer l'environnement pour ce démarrage rapide, procédez comme suit :
  1. Téléchargez l'exemple de script de données, puis exécutez-le sur la base de données HeatWave pour créer la base de données et charger les données.
  2. Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Ouvrez port 3306, par le biais duquel OCI GoldenGate peut se connecter.
    1. Dans la console Oracle Cloud, localisez le sous-réseau utilisé par la base de données HeatWave.
    2. Dans la liste de sécurité du sous-réseau, créez une règle entrante pour port TCP/3306.

Tâche 1 : créer les ressources OCI GoldenGate

  1. Créez un déploiement MySQL pour la base de données HeatWave source.
  2. Créez un déploiement Big Data pour la cible Amazon Kinesis.
  3. Créez une connexion à la base de données Heatwave source.
  4. Connectez-vous à Amazon Kinesis.
  5. Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement MySQL source.
  6. Affectez la connexion source au déploiement MySQL source.
  7. Affectez la connexion cible au déploiement Big Data cible.

Tâche 2 : créez le fichier Extract.

  1. Sur la page Déploiements, sélectionnez le déploiement MySQL créé dans la tâche 1.
  2. Sur la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous à la console de déploiement MySQL source à l'aide des informations d'identification d'administrateur indiquées lors de la création du déploiement dans la tâche 1.
  4. Ajoutez un élément Change Data Capture Extract avec les valeurs suivantes :
    • Type Extract : Change Data Capture Extract
    • Nom du processus : ECDC
    • Nom Extract Trail : C1
    • Fichier de paramètres : remplacez MAP *.*, TARGET *.*; par TABLE SRC_OCIGGLL.*;.

Tâche 3 : créer le fichier Distribution Path pour cibler le déploiement Big Data

  1. Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape 3. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel la source GoldenGate utilise pour se connecter à la cible GoldenGate.
    1. Sur la page Déploiements, sélectionnez le déploiement Big Data cible.
    2. Sur la page des détails du déploiement, cliquez sur Lancer la console, puis connectez-vous en tant qu'administrateur.
    3. Dans le menu de navigation de la console de déploiement, cliquez sur Administration des utilisateurs.
    4. Cliquez sur Ajouter un nouvel utilisateur (icône Plus), renseignez les champs ci-dessous, puis cliquez sur Envoyer :
      • Dans Nom utilisateur, entrez ggsnet.
      • Dans Rôle, sélectionnez Opérateur.
      • Indiquez le mot de passe à deux reprises pour vérification.
  2. Dans la console de déploiement source MySQL, créez un fichier Path Connection pour l'utilisateur créé à l'étape précédente.
    1. Ouvrez le menu de navigation, puis cliquez sur Path Connection.
    2. Cliquez sur Ajouter Path Connection (icône Plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Alias d'informations d'identification, entrez dpuser.
      • Dans ID utilisateur, entrez ggsnet.
      • Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.
  3. Dans la console de déploiement source MySQL, ajoutez Distribution Path avec les valeurs suivantes :
    1. Sur la page Options source :
      • Dans Source Extract, sélectionnez Extract créé dans la tâche 2.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que C1.
    2. Sur la page Options cible, procédez comme suit :
      • Dans Hôte cible, entrez le domaine hôte du déploiement cible.
      • Dans Nombre de port, saisissez 443.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que C1.
      • Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.
  4. Dans la console de déploiement Big Data OCI GoldenGate cible, vérifiez le fichier Receiver path créé suite à la création de Distribution Path :
    1. Cliquez sur Receiver Service.
    2. Vérifiez les détails de Receiver path.

Tâche 4 : ajouter une réplication pour Amazon Kinesis

  1. Dans le déploiement Big Data, cliquez sur Administration Service, puis sur Ajouter Replicat (icône Plus).
  2. Ajoutez une valeur Replicat avec les valeurs suivantes :
    • Pour le type Replicat, sélectionnez Classic Replicat
    • Dans Nom de processus, entrez un nom.
    • Dans Nom de trace cible, saisissez le nom de la trace de la tâche 2.
    • Pour Cible, sélectionnez Amazon Kinesis.
    • Dans Alias disponibles pour Amazon Kinesis, sélectionnez votre alias dans la liste déroulante.
    • Dans la page Fichier de propriétés, modifiez les champs marqués #TODO :
      • gg.handler.kinesis.region : indiquez la région Amazon Web Services (AWS) pour le flux Kinesis cible.
      • gg.handler.kinesis.streamMappingTemplate : par défaut, il est défini sur ${tableName}, ce qui met en correspondance les flux de données en fonction du nom de la table source. Si vous souhaitez effectuer une mise en correspondance avec un flux de données existant, vous pouvez fournir des noms de flux statiques ou utiliser des mots-clés de modèle pour affecter des noms de flux de données de manière dynamique.

Tâche 5 : vérification de la réplication de données de HeatWave vers Amazon Kinesis

Effectuez des mises à jour de la base de données HeatWave source pour vérifier la réplication vers Amazon Kinesis.
  1. Dans OCI Bastion, créez une session de transmission de port SSH à l'aide de l'adresse IP MySQL et de port 3306. Ajoutez la clé SSH publique.
  2. Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et de port 3306.
  3. Une fois la connexion établie, exécutez la commande suivante :
    mysqlsh admin@localhost:3306 --sql
  4. Exécutez le script suivant pour effectuer des insertions dans la base de données HeatWave :
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Dans la console de déploiement MySQL source, sélectionnez le nom Change Data Capture Extract (CDCEXT), puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
  6. Dans la console de déploiement Big Data cible, sélectionnez le nom Replicat, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
  7. Dans Amazon Kinesis, vous pouvez vérifier les messages dans le flux de données/visualiseur de données cible.