Ajout d'une extraction pour Kafka

L'ajout d'une extraction pour une source Kafka diffère entre les versions de déploiement Big Data. Suivez les instructions en fonction de votre version de déploiement Big Data.

Pour vérifier la version d'OCI GoldenGate, affichez les informations de version sur la page de détails du déploiement.

Vous pouvez capturer des messages à partir des sources de transmission en continu suivantes :

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, avec ou sans registre de schémas
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate lit des messages d'une ou de plusieurs rubriques Kafka, puis convertit les données en enregistrements de modification logique écrits dans les fichiers de trace GoldenGate. GoldenGate Les processus de réplication peuvent ensuite utiliser les fichiers trace générés pour propager les données afin de prendre en charge les implémentations du système de gestion de base de données relationnelle (SGBDR).

Un déploiement Big Data OCI GoldenGate prend en charge plusieurs technologies source au sein d'un même déploiement. Vous pouvez donc configurer plusieurs extractions à partir de différentes technologies source prises en charge au sein d'un même déploiement. OCI GoldenGate utilise des entrées de banque d'informations d'identification pour identifier la technologie source. Par exemple, OCI GoldenGate utilise l'ID utilisateur des informations d'identification pour déterminer si une extraction Kafka (kafka ://) ou Mongo (Mongo ://) doit être démarrée.

Ajout d'une extraction (23ai)

Avant d'ajouter et d'exécuter une extraction, veillez à :
  • Vérifiez les détails propres à ce type de connexion source.
  • Créez des informations d'identification dans la console de déploiement Big Data :
    1. Lancez la console de déploiement Big Data à partir de la page de détails du déploiement, puis connectez-vous.
    2. Dans le menu de navigation de gauche du service d'administration, cliquez sur Connexions de base de données.
    3. Dans la page DB Connections, cliquez sur Add Credential (icône Plus).
    4. Entrez les détails suivants dans les champs fournis, puis cliquez sur Soumettre :
      • Dans Domaine d'informations d'identification, entrez OracleGoldenGate.
      • Dans Alias d'informations d'identification, entrez kafka.
      • Dans ID utilisateur, entrez kafka://.
      • Pour Mot de passe, entrez un mot du passe.
      • Pour Vérifier le mot de passe, saisissez à nouveau le mot de passe.
Afin d'ajouter une extraction dans Oracle GoldenGate 23ai, procédez comme suit :
  1. Dans la console de déploiement OCI GoldenGate, sur la page d'accueil du service d'administration, cliquez sur Ajouter une extraction.
  2. Dans le panneau Ajouter une extraction, sur la page Informations sur l'extraction, renseignez les champs suivants selon vos besoins, puis cliquez sur Suivant :
    • Entrez un nom de processus de 8 caractères maximum.
    • Entrez une description (facultatif) pour vous aider à distinguer ce processus des autres.
    • Sélectionnez une source dans la liste déroulante.
  3. Sur la page Options d'extraction, renseignez les champs suivants selon vos besoins, puis cliquez sur Suivant :
    1. Pour Piste d'extraction :
      1. Entrez un nom pour le processus d'extraction.
      2. Entrez un nom de sous-répertoire pour définir un emplacement personnalisé pour le fichier trace généré.
      3. Entrez Séquence de trace pour définir le numéro de début des fichiers de trace.
      4. Entrez une taille de traces pour définir la taille maximale du fichier de traces généré.
      5. Sélectionnez un profil de cryptage. Le profil Portefeuille local est sélectionné par défaut si aucun profil de cryptage n'a été créé.
      6. Sélectionnez un algorithme de cryptage :
        • NONE
        • AES-256
        • AES-192
        • AES-128
    2. Dans Informations d'identification source, sélectionnez les éléments suivants :
      1. Domaine
      2. Alias
      3. Quand et où commencer
  4. Sur la page Options gérées, renseignez les champs facultatifs suivants, le cas échéant, puis cliquez sur Suivant :
    • Nom de profil
    • Critique pour l'état du déploiement
    • Démarrage automatique
    • Redémarrage automatique

    Remarques :

    L'ajout d'un profil et la configuration des options de démarrage et de redémarrage automatiques permettent au déploiement de redémarrer automatiquement après une interruption du réseau. Pour en savoir plus, reportez-vous à Configuration des processus gérés.

  5. Dans la page Parameter file, mettez à jour les éléments suivants :
    1. Mettez à jour SOURCEDB USERIDALIAS vers SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Laissez le mapping de table tel quel (TABLE source.*;) pour écouter toutes les rubriques du serveur d'amorçage donné. Pour effectuer une capture à partir d'une rubrique désignée, remplacez le mapping par TABLE source.<topic-name>;, où <topic-name> est le nom de la rubrique à partir de laquelle effectuer la capture.

      Remarques :

      Le format de mapping d'extraction est Table SourceSchema.Table. Dans Kafka, il n'y a pas de schémas/tables source. OCI GoldenGate écrit la première partie ("source" dans l'étape ci-dessus) en tant que nom de schéma et la deuxième partie en tant que nom de table dans le fichier trace. Vous pouvez ainsi répliquer le message kafka capturé vers d'autres cibles prises en charge par GoldenGate.
  6. Cliquez sur Créer et exécuter pour créer et démarrer l'extraction. Si vous cliquez sur Créer, vous pouvez démarrer manuellement l'extraction ultérieurement à partir de la page Extractions.

Ajout d'une extraction (21c)

Avant de créer une extraction, créez des informations d'identification dans la console de déploiement Big Data :

  1. Sur la page Déploiements, sélectionnez le déploiement Big Data pour en visualiser les détails.
  2. Connectez-vous à la console de déploiement Big Data à l'aide des informations d'identification indiquées lors de la création du déploiement. Vous accédez à la page Administration Server Overview.
  3. Ajoutez des informations d'identification :
    1. Ouvrez le menu de navigation, puis cliquez sur Configuration.
    2. Sur la page Informations d'identification, cliquez sur Ajouter des informations d'identification (icône Plus).
    3. Entrez les détails suivants dans les champs fournis, puis cliquez sur Soumettre :
      • Dans Domaine d'informations d'identification, entrez OracleGoldenGate.
      • Dans Alias d'informations d'identification, entrez kafka.
      • Dans ID utilisateur, entrez kafka://.
      • Pour Mot de passe, entrez un mot du passe.
      • Pour Vérifier le mot de passe, saisissez à nouveau le mot de passe.
Afin d'ajouter une extraction pour Kafka dans OCI GoldenGate pour les déploiements Big Data version 21.9 ou ultérieure, procédez comme suit :
  1. Dans le menu de navigation, cliquez sur Aperçu pour revenir à la page Aperçu du service d'administration.
  2. Cliquez sur Ajouter une extraction (icône Plus).
  3. Sur la page Ajouter une extraction, sélectionnez les éléments suivants, puis cliquez sur Suivant :
    • Source : Kafka
    • Type d'extraction : Extraction de capture de données de modification
  4. Sur la page Options d'extraction, renseignez les champs comme suit, puis cliquez sur Suivant :
    • Dans le champ Nom du processus, entrez un nom (8 caractères au maximum).
    • (Facultatif) Saisissez une description.
    • Pour Alias de connexion, sélectionnez l'alias de connexion précédemment affecté.
    • Pour Commencer, sélectionnez Maintenant.
    • Dans Nom de trace, entrez un nom à 2 caractères.
    • (Facultatif) Activation de Kafka Connect, si la source est une structure Kafka Connect.
    • (Facultatif) Si Kafka Connect est sélectionné, sélectionnez l'un des convertisseurs disponibles :
      • JSON
      • AVRO
    • (Facultatif) Si AVRO est sélectionné, sélectionnez Registre des schémas.
    • (Facultatif) Sous Options gérées, vous pouvez configurer les éléments suivants :
      • Nom de profil
      • Démarrage automatique
      • Redémarrage automatique

      Remarques :

      L'ajout d'un profil et la configuration des options de démarrage et de redémarrage automatiques permettent au déploiement de redémarrer automatiquement après une interruption du réseau. Pour plus d'informations, reportez-vous à Configuration des processus gérés.
  5. Dans la page Parameter file, mettez à jour les éléments suivants :
    1. Mettez à jour SOURCEDB USERIDALIAS vers SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Laissez le mapping de table tel quel (TABLE source.*;) pour écouter toutes les rubriques du serveur d'amorçage donné. Pour effectuer une capture à partir d'une rubrique désignée, remplacez le mapping par TABLE source.<topic-name>;, où <topic-name> est le nom de la rubrique à partir de laquelle effectuer la capture.

      Remarques :

      Le format de mapping d'extraction est Table SourceSchema.Table. Dans Kafka, il n'y a pas de schémas/tables source. OCI GoldenGate écrit la première partie ("source" dans l'étape ci-dessus) en tant que nom de schéma et la deuxième partie en tant que nom de table dans le fichier trace. Vous pouvez ainsi répliquer le message kafka capturé vers d'autres cibles prises en charge par GoldenGate.
  6. Cliquez sur Créer et exécuter.
Vous retournez à la page d'aperçu du service d'administration, dans laquelle vous pouvez observer le statut de l'extraction. Vous pouvez ensuite sélectionner le processus Extract pour afficher ses détails, ses statistiques et ses rapports.