Envoi de données de HeatWave vers Azure Event Hubs

Découvrez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave vers Azure Event Hubs.

Avant de commencer

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

  • OCI Bastion, pour vous connecter à la base de données HeatWave, charger l'exemple de base de données et effectuer des insertions.
  • Une base de données HeatWave à utiliser comme base de données source.
  • Espace de noms Azure Event Hubs et hub d'événements créés

    Remarques :

    La surface Kafka n'est pas activée dans le niveau de base Azure Event Hubs. Le niveau Standard ou Premium est requis.

Configuration de l'environnement : HeatWave

Afin de configurer l'environnement pour ce démarrage rapide, procédez comme suit :
  1. Téléchargez l'exemple de script de données, puis exécutez-le sur la base de données HeatWave pour créer la base de données et charger les données.
  2. Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Ouvrez port 3306, par le biais duquel OCI GoldenGate peut se connecter.
    1. Dans la console Oracle Cloud, localisez le sous-réseau utilisé par la base de données HeatWave.
    2. Dans la liste de sécurité du sous-réseau, créez une règle entrante pour port TCP/3306.

Tâche 1 : créer les ressources OCI GoldenGate

  1. Créez un déploiement MySQL pour la base de données HeatWave source.
  2. Créez un déploiement Big Data pour les hubs d'événements Azure cible.
  3. Créez une connexion à la base de données MySQL Heatwave source.
  4. Création d'une connexion Azure Event Hubs.
  5. Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement MySQL source.
  6. Affectez la connexion source au déploiement MySQL source.
  7. Affectez la connexion cible au déploiement Big Data cible.

Tâche 2 : créez le fichier Extract.

  1. Sur la page Déploiements, sélectionnez le déploiement MySQL créé dans la tâche 1.
  2. Sur la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous à la console de déploiement MySQL source à l'aide des informations d'identification d'administrateur indiquées lors de la création du déploiement dans la tâche 1.
  4. Ajoutez un élément Change Data Capture Extract avec les valeurs suivantes :
    • Extract Type : Change Data Capture Extract
    • Nom de processus : ECDC
    • Nom Extract Trail : C1
    • Fichier de paramètres : remplacez MAP *.*, TARGET *.*; par TABLE SRC_OCIGGLL.*;.

Tâche 3 : créer le fichier Distribution Path pour cibler le déploiement Big Data

  1. Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape 3. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel la source GoldenGate utilise pour se connecter à la cible GoldenGate.
    1. Sur la page Déploiements, sélectionnez le déploiement Big Data cible.
    2. Sur la page des détails du déploiement, cliquez sur Lancer la console, puis connectez-vous en tant qu'administrateur.
    3. Dans le menu de navigation de la console de déploiement, cliquez sur Administration des utilisateurs.
    4. Cliquez sur Ajouter un nouvel utilisateur (icône Plus), renseignez les champs ci-dessous, puis cliquez sur Envoyer :
      • Dans Nom utilisateur, entrez ggsnet.
      • Dans Rôle, sélectionnez Opérateur.
      • Indiquez le mot de passe à deux reprises pour vérification.
  2. Dans la console de déploiement source MySQL, créez un fichier Path Connection pour l'utilisateur créé à l'étape précédente.
    1. Ouvrez le menu de navigation, puis cliquez sur Path Connection.
    2. Cliquez sur Ajouter Path Connection (icône plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Alias d'informations d'identification, entrez dpuser.
      • Dans ID utilisateur, entrez ggsnet.
      • Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.
  3. Dans la console de déploiement source MySQL, ajoutez Distribution Path avec les valeurs suivantes :
    1. Sur la page Options source :
      • Dans Source Extract, sélectionnez Extract créé dans la tâche 2.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que C1.
    2. Sur la page Options cible, procédez comme suit :
      • Dans Hôte cible, entrez le domaine hôte du déploiement cible.
      • Dans Nombre de port, saisissez 443.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que C1.
      • Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.
  4. Dans la console de déploiement OCI GoldenGate Big Data cible, vérifiez le fichier Receiver path créé à la suite de la création de Distribution Path :
    1. Cliquez sur Receiver Service.
    2. Vérifiez les détails de Receiver path.

Tâche 4 : ajouter un élément Replicat pour les Hub d'événements Azure

  1. Dans le déploiement Big Data, cliquez sur Administrator Service, puis sur Ajouter Replicat (icône Plus).
  2. Ajoutez un élément Replicat avec les valeurs suivantes :
    1. Sur la page Informations Replicat, sous Type Replicat, sélectionnez Classic Replicat, puis entrez un nom de processus.
    2. Sur la page Options Replicat :
      • Dans Nom de trace, saisissez le nom de la trace de la tâche 2.
      • Dans Cible, sélectionnez un Hub d'événements Azure.
      • Dans Alias, sélectionnez la connexion Hub d'événements Azure créée dans la tâche 1.
    3. Sur la page Replicat Paramètres, laissez les valeurs par défaut.
    4. Sur la page Fichier de propriétés, indiquez le nom du sujet pour topicMappingTemplate.
    5. Cliquez sur Créer et exécuter.

Tâche 5 : vérification de la réplication de données de HeatWave vers Azure Event Hubs

Effectuez des mises à jour de la base de données HeatWave source afin de vérifier la réplication vers Azure Event Hubs.
  1. Dans OCI Bastion, créez une session de transmission de port SSH à l'aide de l'adresse IP MySQL et de port 3306. Ajoutez la clé SSH publique.
  2. Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et de port 3306.
  3. Une fois la connexion établie, exécutez la commande suivante :
    mysqlsh admin@localhost:3306 --sql
  4. Exécutez le script suivant pour effectuer des opérations d'insertion dans la base de données HeatWave :
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Dans la console de déploiement MySQL source, sélectionnez le nom Change Data Capture Extract, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
  6. Dans la console de déploiement Big Data cible, sélectionnez le nom Replicat, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
  7. Dans Hub d'événements Azure, vous pouvez vérifier les statistiques de message.