Réplication de données vers des analyses de flux de données

Découvrez comment répliquer des données d'OCI GoldenGate dans Stream Analytics.

GoldenGate Stream Analytics a commencé comme un moteur de traitement d'événements complexes qui a évolué pour s'exécuter au-dessus des structures d'exécution avec Apache Spark et Apache Kafka. Stream Analytics peut ingérer un flux de données à partir de n'importe quelle source telle qu'une base de données, GoldenGate, Kafka, JMS, REST ou même un fichier de système de fichiers. Une fois les données ingérées, vous pouvez exécuter des analyses sur des données actives.

Avant de commencer

Pour mener à bonne fin ce démarrage rapide, vous devez :

  • Une instance Autonomous Database source avec des données échantillon chargées et la journalisation supplémentaire activée.

    Conseil :

    Vous pouvez télécharger les données échantillon OCI GoldenGate, si vous avez besoin d'exemples de données à utiliser.
    • Modifiez d'abord SETUP_USERS_ATP.sql et le mot de passe de l'utilisateur SRC_OCIGGLL pour enlever les caractères spéciaux.
    • Utilisez l'outil SQL d'actions de base de données d'Autonomous Database pour exécuter les deux scripts afin de créer le schéma utilisateur et les tables.
    • Utilisez l'outil SQL pour activer la journalisation supplémentaire.
    Pour plus d'informations, suivez les étapes de l'atelier pratique 1, tâche 3 : Charger le schéma ATP.
  • Déverrouillage de l'utilisateur GGADMIN sur l'instance Autonomous Database source
    1. Sur la page Autonomous Database - Détails, sélectionnez Utilisateurs de base de données dans le menu Actions de base de données.

      Conseil :

      Utilisez les informations d'identification d'administrateur Autonomous Database fournies lors de la création de l'instance pour vous connecter, si vous y êtes invité.
    2. Localisez l'utilisateur GGADMIN, puis sélectionnez Edit dans le menu des points de suspension (trois points).
    3. Dans le panneau Modifier l'utilisateur, entrez un mot de passe, confirmez-le, puis désélectionnez Compte verrouillé.
    4. Cliquez sur Appliquer les modifications.

Tâche 1 : créer les ressources OCI GoldenGate

  1. Créez le déploiement OCI GoldenGate pour la réplication de données.
  2. Créez une connexion pour la base d'informations source.
  3. Affectez la connexion au déploiement.
  4. Créez et exécutez une extraction.

Tâche 2 : création des ressources Stream Analytics

  1. Créez le déploiement Stream Analytics.
  2. Créez une connexion Kafka à l'aide de l'adresse IP publique de l'instance Kafka, puis sélectionnez Plaintext pour le protocole de sécurité.
  3. Créez une connexion GoldenGate.
  4. Affectez les connexions au déploiement Stream Analytics.

Tâche 3 : créer et exécuter les pipelines

  1. Lancez la console de déploiement Stream Analytics.
  2. Vérifiez les connexions dans la console de déploiement Stream Analytics.
    1. Dans la console de déploiement Stream Analytics, cliquez sur Catalogue.
    2. Sur la page Catalogue, vérifiez la liste des connexions. La connexion GoldenGate, la connexion Autonomous Database et la connexion Kafka doivent être affichées.
  3. Démarrez le cluster Big Data GoldenGate :
    1. Dans la console de déploiement OCI GoldenGate Stream Analytics, sélectionnez Paramètres système dans le menu utilisateur ossaadmin.
    2. Dans la boîte de dialogue Paramètres système, cliquez sur Gérer les clusters, puis développez Cluster GGDB.
    3. Cliquez sur Démarrer le cluster. Attendez que le statut du cluster soit En cours d'exécution, puis fermez la fenêtre de dialogue.
  4. Mettez à jour les informations d'identification de connexion GoldenGate :

    Bien que la connexion GoldenGate soit disponible dans la console de déploiement Stream Analytics, les informations d'identification GoldenGate ne sont pas transférées. Mettez à jour le mot de passe et testez la connexion.

    1. Cliquez sur Catalogue, puis sur la connexion GoldenGate.
    2. Dans la boîte de dialogue Modifier la connexion, cliquez sur Suivant.
    3. Dans Nom utilisateur GG, entrez oggadmin.
    4. Dans Mot de passe de groupe, cliquez sur Modifier le mot de passe, puis entrez le mot de passe fourni lors de la création du déploiement OCI GoldenGate pour la réplication de données dans la tâche 1.
    5. Cliquez sur Test de la connexion. En cas de réussite, cliquez sur Enregistrer.
  5. Utilisez l'extraction GoldenGate pour créer et démarrer GoldenGate Modifier les données.

    Veillez à utiliser les détails d'extraction fournis dans la tâche 1 sur la page Détails des données de modification de groupe.

  6. Mettez à jour le nom utilisateur Autonomous Database.

    Les connexions de base de données sont créées avec l'utilisateur par défaut, ggadmin. Mettez à jour le nom utilisateur sur SRC_OCIGGLL (si vous avez utilisé les données échantillon fournies) pour accéder à son schéma et à ses tables.

    1. Cliquez sur Catalogue, puis sur Connexion à Autonomous Database.
    2. Dans la boîte de dialogue Modifier la connexion, cliquez sur Suivant.
    3. Dans Nom utilisateur, entrez SRC_OCIGGLL.
    4. Dans Mot de passe, entrez le mot de passe SRC_OCIGGLLque vous avez modifié dans les étapes Avant de commencer au début de ce démarrage rapide.
    5. Cliquez sur Test de la connexion. En cas de réussite, cliquez sur Enregistrer.
  7. Utilisez les tables de consultation Autonomous Database pour créer des références pour les clients et les commandes.
  8. Utilisez la connexion Kafka pour créer Kafka Streams pour les clients et les commandes.
  9. Utilisez l'outil SQL Autonomous Database pour effectuer des insertions sur la base de données source.
    Vous pouvez, par exemple, exécuter les insertions suivantes :
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Créez un pipeline qui utilise le flux Kafka créé à l'étape 8.
  11. Ajoutez une phase de requête, puis ajoutez un filtre, pour renvoyer uniquement les commandes dont la valeur CUST_ID du flux Commandes correspond à la valeur CUSTID du flux Clients.
  12. Ajouter une phase cible.
  13. Publier le pipeline.