Réplication de données vers des analyses de flux de données

Découvrez comment répliquer des données d'OCI GoldenGate dans Stream Analytics.

GoldenGate Stream Analytics a commencé comme un moteur de traitement d'événements complexes qui a évolué pour s'exécuter au-dessus des structures d'exécution avec Apache Spark et Apache Kafka. Stream Analytics peut ingérer un flux de données à partir de n'importe quelle source telle qu'une base de données, GoldenGate, Kafka, JMS, REST ou même un fichier de système de fichiers. Une fois les données ingérées, vous pouvez exécuter des analyses sur des données actives.

Avant de commencer

Pour mener à bonne fin ce démarrage rapide, vous devez :

• Base de données Autonomous AI source avec des données échantillon chargées et la journalisation supplémentaire activée.

  Conseil :

  Vous pouvez télécharger les données échantillon OCI GoldenGate, si vous avez besoin de données échantillon à utiliser.

  • Modifiez d'abord SETUP_USERS_ATP.sql et le mot de passe de l'utilisateur SRC_OCIGGLL pour enlever les caractères spéciaux.

  • Utilisez l'outil SQL Actions de base de données de la base de données Autonomous AI pour exécuter les deux scripts afin de créer le schéma utilisateur et les tables.

  • Utilisez l'outil SQL pour activer la journalisation supplémentaire.

  Pour plus d'informations, suivez les étapes de l'atelier pratique 1, tâche 3 : Charger le schéma ATP.

• Déverrouiller l'utilisateur GGADMIN sur l'instance de base de données Autonomous AI source

  1. Sur la page Détails de la base de données Autonomous AI, sélectionnez Utilisateurs de base de données dans le menu Actions de base de données.

     A savoir : Utilisez les informations d'identification d'administrateur de base de données Autonomous AI fournies lors de la création de l'instance pour vous connecter, si vous y êtes invité.

  2. Localisez l'utilisateur GGADMIN, puis sélectionnez Edit dans le menu des points de suspension (trois points).

  3. Dans le panneau Modifier l'utilisateur, entrez un mot de passe, confirmez-le, puis désélectionnez Compte verrouillé.

  4. Sélectionnez Apply Changes (Appliquer les modifications).

Tâche 1 : créer les ressources OCI GoldenGate

1. Créez le déploiement OCI GoldenGate pour la réplication de données.

2. Créez une connexion pour la base d'informations source.

3. Affectez la connexion au déploiement.

4. Créez et exécutez une extraction.

Tâche 2 : créer les ressources Stream Analytics

1. Créez le déploiement Stream Analytics.

2. Créez une connexion Kafka à l'aide de l'adresse IP publique de l'instance Kafka, puis sélectionnez Plaintext pour le protocole de sécurité.

3. Créez une connexion GoldenGate.

4. Affectez les connexions au déploiement Stream Analytics.

Tâche 3 : créer et exécuter les pipelines

1. Lancez la console de déploiement Stream Analytics.

2. Vérifiez les connexions dans la console de déploiement Stream Analytics.

   1. Dans la console de déploiement Stream Analytics, sélectionnez Catalogue.

   2. Dans la page Catalog, consultez la liste des connexions. Vous devez voir la connexion GoldenGate, la connexion à la base de données Autonomous AI et la connexion Kafka.

3. Démarrez le cluster Big Data GoldenGate :

   1. Dans la console de déploiement OCI GoldenGate Stream Analytics, sélectionnez Paramètres système dans le menu utilisateur ossaadmin.

   2. Dans la boîte de dialogue Paramètres système, sélectionnez Gérer les clusters, puis développez Cluster GGDB.

   3. Sélectionnez Démarrer le cluster. Attendez que le statut du cluster soit En cours d'exécution, puis fermez la boîte de dialogue.

4. Mettez à jour les informations d'identification de connexion GoldenGate :

   Bien que la connexion GoldenGate soit disponible dans la console de déploiement Stream Analytics, les informations d'identification GoldenGate ne sont pas reportées. Mettez à jour le mot de passe et testez la connexion.

   1. Sélectionnez Catalogue, puis la connexion GoldenGate.

   2. Dans la boîte de dialogue Modifier la connexion, sélectionnez Suivant.

   3. Pour Nom utilisateur GG, entrez oggadmin.

   4. Pour Mot de passe de groupe, sélectionnez Modifier le mot de passe, puis entrez le mot de passe fourni lors de la création du déploiement OCI GoldenGate pour la réplication de données dans la tâche 1.

   5. Sélectionnez Test de la connexion. En cas de réussite, sélectionnez Enregistrer.

5. Utilisez l'extraction GoldenGate pour créer et démarrer des données de modification GoldenGate.

   Veillez à utiliser les détails d'extraction fournis dans la tâche 1 sur la page Détails des données de modification de groupe.

6. Mettez à jour le nom utilisateur de la base de données Autonomous AI.

   Les connexions de base de données sont créées avec l'utilisateur par défaut, ggadmin. Mettez à jour le nom utilisateur sur SRC_OCIGGLL (si vous avez utilisé les données échantillon fournies) pour accéder à son schéma et à ses tables.

   1. Sélectionnez Catalogue, puis Connexion à la base de données Autonomous AI.

   2. Dans la boîte de dialogue Modifier la connexion, sélectionnez Suivant.

   3. Dans Nom utilisateur, entrez SRC_OCIGGLL.

   4. Pour Mot de passe, entrez le mot de passe SRC_OCIGGLL que vous avez modifié dans les étapes Avant de commencer au début de ce démarrage rapide.

   5. Sélectionnez Test de la connexion. En cas de réussite, sélectionnez Enregistrer.

7. Utilisez les tables de consultation de base de données Autonomous AI pour créer des références pour les clients et les commandes.

8. Utilisez la connexion Kafka pour créer Kafka Streams pour les clients et les commandes.

9. Utilisez l'outil Autonomous AI Database SQL pour effectuer des insertions sur la base de données source.

   Vous pouvez, par exemple, exécuter les insertions suivantes :

   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);

10. Créez un pipeline qui utilise le flux Kafka créé à l'étape 8.

11. Ajoutez une phase de requête, puis ajoutez un filtre, pour renvoyer uniquement les commandes dont le CUST_ID du flux Commandes correspond au CUSTID du flux Clients.

12. Ajouter une phase cible.

13. Publier le pipeline.