Répliquer des données dans Stream Analytics

Voyez comment répliquer des données à partir d'OCI GoldenGate dans Stream Analytics.

GoldenGate Stream Analytics a commencé comme un moteur de traitement d'événements complexes qui a évolué pour s'exécuter au sommet des cadres d'exécution avec Apache Spark et Apache Kafka. L'analyse de flux peut ingérer un flux de données provenant de n'importe quelle source, telle qu'une base de données, GoldenGate, Kafka, JMS, REST ou même un fichier de système de fichiers. Une fois les données ingérées, vous pouvez exécuter des analyses sur des données réelles.

Avant de commencer

Pour terminer ce démarrage rapide, vous avez besoin de :

  • Une base de données Autonomous Database source avec des données-échantillons chargées et la journalisation supplémentaire activée.

    Conseil :

    Vous pouvez télécharger les données-échantillons OCI GoldenGate, si vous avez besoin de données-échantillons pour fonctionner.
    • Tout d'abord, modifiez SETUP_USERS_ATP.sql et modifiez le mot de passe de l'utilisateur SRC_OCIGGLL pour supprimer les caractères spéciaux.
    • Utilisez l'outil SQL Actions de base de données d'Autonomous Database pour exécuter les deux scripts afin de créer le schéma et les tables de l'utilisateur.
    • Utilisez l'outil SQL pour activer la journalisation supplémentaire.
    Pour plus de détails, suivez les étapes décrites dans Laboratoire 1, Tâche 3 : Charger le schéma ATP.
  • Déverrouiller l'utilisateur GGADMIN sur l'instance Autonomous Database source
    1. Dans la page Détails de la base de données Autonomous Database, sélectionnez Utilisateurs de base de données dans le menu Actions de base de données.

      Conseil :

      Utilisez les données d'identification de l'administrateur de base de données Autonomous Database fournies lors de la création de l'instance pour la connexion, si vous y êtes invité.
    2. Localisez l'utilisateur GGADMIN, puis sélectionnez Modifier dans son menu de points de suspension (trois points).
    3. Dans le panneau Modifier l'utilisateur, entrez un mot de passe, confirmez-le, puis désélectionnez Le compte est verrouillé.
    4. Cliquez sur appliquer les modifications.

Tâche 1 : Créer des ressources GoldenGate pour OCI

  1. Créez le déploiement OCI GoldenGate pour la réplication de données.
  2. Créez une connexion pour la base de données source.
  3. Affectez la connexion au déploiement.
  4. Create and run an Extract.

Tâche 2 : Créer les ressources Stream Analytics

  1. Créez le déploiement de l'analyse de flux.
  2. Créez une connexion Kafka à l'aide de l'adresse IP publique de l'instance Kafka et sélectionnez En texte brut pour le protocole de sécurité.
  3. Créez une connexion GoldenGate.
  4. Affectez les connexions au déploiement de Stream Analytics.

Tâche 3 : Créer et exécuter les pipelines

  1. Lancez la console de déploiement d'analyse de flux.
  2. Vérifiez les connexions dans la console de déploiement de Stream Analytics.
    1. Dans la console de déploiement de Stream Analytics, cliquez sur Catalogue.
    2. Dans la page Catalogue, vérifiez la liste des connexions. Vous devez voir la connexion GoldenGate, la connexion Autonomous Database et la connexion Kafka.
  3. Démarrez la grappe de mégadonnées GoldenGate :
    1. Dans la console de déploiement d'OCI GoldenGate Stream Analytics, sélectionnez Paramètres de système dans le menu utilisateur ossaadmin.
    2. Dans la boîte de dialogue Paramètres de système, cliquez sur Gérer les grappes, puis développez GGDB Cluster.
    3. Cliquez sur Démarrer la grappe. Attendez que le statut de la grappe soit En cours d'exécution, puis fermez la fenêtre de dialogue.
  4. Mettez à jour les données d'identification de connexion GoldenGate :

    Bien que la connexion GoldenGate soit disponible dans la console de déploiement de Stream Analytics, les données d'identification GoldenGate ne sont pas reportées. Mettez à jour le mot de passe et testez la connexion.

    1. Cliquez sur Catalogue, puis sur la connexion GoldenGate.
    2. Dans la boîte de dialogue Modifier la connexion, cliquez sur Suivant.
    3. Pour Nom d'utilisateur GG, entrez oggadmin.
    4. Pour Mot de passe GG, cliquez sur Modifier le mot de passe, puis entrez le mot de passe fourni lors de la création du déploiement OCI GoldenGate pour la réplication de données dans la tâche 1.
    5. Cliquez sur Tester la connexion. En cas de succès, cliquez sur Enregistrer.
  5. Utilisez l'extraction GoldenGate pour créer et démarrer GoldenGate Modifier les données.

    Assurez-vous d'utiliser les détails d'extraction fournis dans la tâche 1 de la page Détails des données de modification GG.

  6. Mettez à jour le nom d'utilisateur Autonomous Database.

    Les connexions à la base de données sont créées avec l'utilisateur par défaut, ggadmin. Mettez à jour le nom d'utilisateur à SRC_OCIGGLL (si vous avez utilisé les données-échantillons fournies) pour accéder à son schéma et à ses tables.

    1. Cliquez sur Catalogue, puis sur la connexion à Autonomous Database.
    2. Dans la boîte de dialogue Modifier la connexion, cliquez sur Suivant.
    3. Pour Nom d'utilisateur, entrez SRC_OCIGGLL.
    4. Pour Mot de passe, entrez le mot de passe SRC_OCIGGLLque vous avez modifié dans les étapes Avant de commencer au début de ce démarrage rapide.
    5. Cliquez sur Tester la connexion. En cas de succès, cliquez sur Enregistrer.
  7. Utilisez les tables de consultation d'Autonomous Database pour créer des références pour les clients et les commandes.
  8. Utilisez la connexion Kafka pour créer des flux Kafka pour les clients et les commandes.
  9. Utilisez l'outil SQL d'Autonomous Database pour effectuer des insertions sur la base de données source.
    Par exemple, vous pouvez exécuter les insertions suivantes :
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Créez un pipeline qui utilise le flux Kafka créé à l'étape 8.
  11. Ajoutez une étape d'interrogation, puis ajoutez un filtre pour retourner uniquement les commandes dont le CUST_ID du flux Commandes correspond au CUSTID du flux Clients.
  12. Ajouter une étape cible.
  13. Publier le pipeline.