Envoyer des données de HeatWave à Azure Event Hubs

Voyez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave vers Azure Event Hubs.

Avant de commencer

Pour terminer ce démarrage rapide, vous devez disposer des éléments suivants :

  • Hôte bastion OCI, pour vous connecter à la base de données HeatWave, chargez l'exemple de base de données et effectuez des insertions.
  • Une base de données HeatWave servant de base de données source.
  • Un espace de noms Azure Event Hubs et un centre d'événements ont été créés

    Note :

    La surface Kafka n'est pas activée dans le niveau de base des centres d'événements Azure. Le niveau Standard ou Premium est requis.

Configuration de l'environnement : HeatWave

Pour configurer l'environnement pour ce démarrage rapide :
  1. Téléchargez le script de données-échantillons, puis exécutez-le sur la base de données HeatWave pour créer la base de données et charger les données.
  2. Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Ouvrez port 3306, par lequel OCI GoldenGate peut se connecter.
    1. Dans la console Oracle Cloud, localisez le sous-réseau utilisé par la base de données HeatWave.
    2. Dans la liste de sécurité du sous-réseau, créez une règle de trafic entrant pour port TCP/3306.

Tâche 1 : Créer des ressources GoldenGate pour OCI

  1. Créez un déploiement MySQL pour la base de données source HeatWave.
  2. Créez un déploiement du service de mégadonnées pour les centres d'événements Azure cibles.
  3. Créez une connexion à la base de données à ondes thermiques MySQL source.
  4. Créez une connexion à Azure Event Hubs.
  5. Créez une connexion à GoldenGate, puis assignez cette connexion au déploiement MySQL source.
  6. Affectez la connexion source au déploiement MySQL source.
  7. Affectez la connexion cible au déploiement du service de mégadonnées cible.

Tâche 2 : Créer Extract

  1. Dans la page Déploiements, sélectionnez le déploiement MySQL créé au cours de la tâche 1.
  2. Dans la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous à la console du déploiement MySQL source à l'aide des données d'identification d'administrateur spécifiées lors de la création du déploiement au cours de la tâche 1.
  4. Ajoutez une valeur Change Data Capture Extract avec les valeurs suivantes :
    • Extract Type : Change Data Capture Extract
    • Nom du processus : ECDC
    • Extract Trail Name (Nom) : C1
    • Fichier de paramètre : Remplacez MAP *.*, TARGET *.*; par TABLE SRC_OCIGGLL.*;

Tâche 3 : Créer Distribution Path pour cibler le déploiement du service de mégadonnées

  1. Si vous utilisez le magasin de données d'identification IAM, passez à l'étape 3. Si vous utilisez le magasin de données d'identification GoldenGate, créez un utilisateur avec lequel la source GoldenGate utilise pour se connecter à la cible GoldenGate.
    1. Dans la page Déploiements, sélectionnez le déploiement de mégadonnées cible.
    2. Dans la page des détails du déploiement, cliquez sur Lancer la console, puis connectez-vous en tant qu'utilisateur administrateur.
    3. Dans le menu de navigation de la console de déploiement, cliquez sur Administration des utilisateurs.
    4. Cliquez sur Ajouter un utilisateur (icône plus), remplissez les champs comme suit, puis cliquez sur Soumettre :
      • Pour Nom d'utilisateur, entrez ggsnet.
      • Pour Rôle, sélectionnez Opérateur.
      • Entrez deux fois le mot de passe pour vérification.
  2. Dans la console du déploiement source MySQL, créez une valeur Path Connection pour l'utilisateur créé à l'étape précédente.
    1. Ouvrez le menu de navigation, puis cliquez sur Path Connection.
    2. Cliquez sur Ajouter Path Connection (icône plus), remplissez les champs comme suit, puis cliquez sur Soumettre :
      • Pour Alias de données d'identification, entrez dpuser.
      • Pour l'ID utilisateur, entrez ggsnet
      • Pour Mot de passe, entrez le même mot de passe que celui utilisé à l'étape précédente.
  3. Dans la console de déploiement source MySQL, ajoutez une valeur Distribution Path avec les valeurs suivantes :
    1. Dans la page Options sources :
      • Pour Source Extract, sélectionnez Extract créé au cours de la tâche 2.
      • Pour Nom de la piste, entrez un nom à deux caractères, par exemple C1.
    2. Dans la page Options cibles :
      • Pour hôte cible, entrez le domaine hôte du déploiement cible.
      • Pour Numéro de port, entrez 443.
      • Pour Nom de la piste, entrez un nom à deux caractères, par exemple C1.
      • Pour Alias, entrez l'alias de données d'identification créé à l'étape 2.
  4. Dans la console de déploiement du service de mégadonnées OCI GoldenGate cible, vérifiez la valeur Receiver path créée à la suite de Distribution Path :
    1. Cliquez sur Receiver Service.
    2. Vérifiez les détails de Receiver path.

Tâche 4 : Ajouter une valeur Replicat pour les centres d'événements Azure

  1. Dans le déploiement du service de mégadonnées, cliquez sur Administrator Service, puis sur Ajouter Replicat (icône plus).
  2. Ajoutez une valeur Replicat avec les valeurs suivantes :
    1. Dans la page Informations sur Replicat, sous le type Replicat, sélectionnez Classic Replicat et entrez un nom de processus.
    2. Dans la page Options Replicat :
      • Pour Nom de la piste, entrez le nom de la piste de la tâche 2.
      • Pour Cible, sélectionnez un centre d'événements Azure.
      • Pour Alias, sélectionnez la connexion à Azure Event Hubs créée au cours de la tâche 1.
    3. Dans la page Paramètres Replicat, laissez la valeur par défaut.
    4. Dans la page Fichier de propriétés, indiquez le nom du sujet pour topicMappingTemplate.
    5. Cliquez sur Créer et exécuter.

Tâche 5 : Vérifier la réplication des données de HeatWave vers Azure Event Hubs

Effectuez les mises à jour de la base de données source HeatWave pour vérifier la réplication vers Azure Event Hubs.
  1. Dans l'hôte bastion OCI, créez une session de réacheminement de port SSH à l'aide de l'adresse IP MySQL et de port 3306. Ajoutez votre clé SSH publique.
  2. Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et de port 3306.
  3. Après la connexion, exécutez la commande suivante :
    mysqlsh admin@localhost:3306 --sql
  4. Exécutez le script suivant pour effectuer des entrées dans la base de données HeatWave :
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Dans la console de déploiement MySQL source, sélectionnez le nom Change Data Capture Extract, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 inserts.
  6. Dans la console de déploiement du service de mégadonnées cible, sélectionnez le nom Replicat, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 inserts.
  7. Dans Azure Event Hubs, vous pouvez vérifier les statistiques sur les messages.