Ajouter une extraction pour Kafka

L'ajout d'une extraction pour une source Kafka diffère selon les versions de déploiement du service de mégadonnées. Suivez les instructions indiquées dans la version de déploiement du service de mégadonnées.

Pour vérifier votre version OCI GoldenGate, consultez les informations sur la version dans la page des détails du déploiement.

Vous pouvez saisir des messages à partir des sources de diffusion en continu suivantes :

  • Apache Kafka
  • Service de diffusion en continu pour OCI
  • Confluent Kafka, avec ou sans registre de schéma
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate lit les messages d'un ou plusieurs sujets Kafka, puis convertit les données en enregistrements de modification logiques écrits dans les fichiers de piste GoldenGate. GoldenGate Les processus de réplication peuvent ensuite utiliser les fichiers de piste générés pour propager les données afin de prendre en charge les mises en oeuvre du système de gestion de base de données relationnelle (SGBDR).

Un déploiement du service de mégadonnées pour OCI GoldenGate prend en charge plusieurs technologies sources dans le même déploiement, de sorte que vous pouvez configurer plusieurs extractions à partir de différentes technologies sources prises en charge dans le même déploiement. OCI GoldenGate utilise des entrées de magasin de données d'identification pour identifier la technologie source. Par exemple, OCI GoldenGate utilise l'ID utilisateur des données d'identification pour déterminer s'il faut démarrer une extraction Kafka (kafka :// ) ou Mongo (Mongo ://).

Ajouter une extraction (23ai)

Avant d'ajouter et d'exécuter une extraction, assurez-vous d'effectuer les opérations suivantes :
  • Vérifiez les détails propres à ce type de connexion source.
  • Créez des données d'identification dans la console de déploiement du service de mégadonnées :
    1. Lancez la console de déploiement du service de mégadonnées à partir de la page des détails du déploiement, puis connectez-vous.
    2. Dans le menu de navigation de gauche du service d'administration, cliquez sur Connexions à la base de données.
    3. Dans la page DB Connections, cliquez sur Add Credential (icône plus).
    4. Entrez les détails suivants dans les champs fournis, puis cliquez sur Soumettre :
      • Pour Domaine de données d'identification, entrez OracleGoldenGate.
      • Pour Alias de données d'identification, entrez kafka.
      • Pour ID utilisateur : Entrez kafka://
      • Pour Mot de passe, entrez un mot de passe.
      • Pour Vérifier le mot de passe, entrez de nouveau le mot de passe.
Pour ajouter une extraction dans Oracle GoldenGate 23ai :
  1. Dans la console de déploiement OCI GoldenGate, dans la page d'accueil du service d'administration, cliquez sur Ajouter une extraction.
  2. Dans le panneau Ajouter une extraction, dans la page Extraire des informations, remplissez les champs suivants selon les besoins, puis cliquez sur Suivant :
    • Entrez un nom de processus de 8 caractères au maximum.
    • Entrez une description (facultatif) pour vous aider à distinguer ce processus des autres.
    • Sélectionnez une source dans la liste déroulante.
  3. Dans la page Options d'extraction, remplissez les champs suivants, au besoin, puis cliquez sur Suivant :
    1. Pour Extraire la piste :
      1. Entrez un nom pour le processus d'extraction.
      2. Entrez un nom de sous-répertoire pour définir un emplacement personnalisé pour le fichier de piste généré.
      3. Entrez Séquence de piste pour définir le numéro de départ des fichiers de piste.
      4. Entrez une taille de la piste pour définir la taille maximale du fichier de piste généré.
      5. Sélectionnez un profil de chiffrement. Le profil de portefeuille local est sélectionné par défaut si aucun profil de chiffrement n'a été créé.
      6. Sélectionnez un algorithme de chiffrement :
        • NONE
        • AES256
        • AES192
        • AES128
    2. Pour Données d'identification sources, sélectionnez les éléments suivants :
      1. Domaine
      2. Alias
      3. Quand et où début
  4. Dans la page Options gérées, remplissez les champs facultatifs suivants, au besoin, puis cliquez sur Suivant :
    • Nom du profil
    • Critique pour l'état du déploiement
    • Démarrage automatique
    • Redémarrage automatique

    Note :

    L'ajout d'un profil et la configuration des options de démarrage automatique et de redémarrage automatique permettent à votre déploiement de redémarrer automatiquement après une interruption du réseau. Voir Configurer les processus gérés pour en savoir plus.

  5. Dans la page Parameter File, mettez à jour les éléments suivants :
    1. Mettre à jour SOURCEDB USERIDALIAS à SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Laissez le mappage de table tel quel (TABLE source.*;) pour écouter toutes les rubriques du serveur d'amorçage indiqué. Pour effectuer une saisie à partir d'un sujet désigné, remplacez le mappage par TABLE source.<topic-name>;, où <topic-name> est le nom du sujet à saisir.

      Note :

      Le format de mappage de l'extraction est Table SourceSchema.Table. Dans Kafka, il n'y a aucun schéma/table source. OCI GoldenGate écrit la première partie ("source" à l'étape ci-dessus) en tant que nom de schéma et la deuxième partie en tant que nom de table pour le fichier de piste. De cette façon, vous pouvez répliquer le message kafka saisi dans d'autres cibles prises en charge par GoldenGate.
  6. Cliquez sur Créer et exécuter pour créer et démarrer l'extraction. Si vous cliquez sur Créer, vous pouvez démarrer manuellement l'extraction plus tard à partir de la page Extractions.

Ajouter un processus d'extraction (21c)

Avant de créer une extraction, créez des données d'identification dans la console de déploiement du service de mégadonnées :

  1. Dans la page Deployments, sélectionnez le déploiement Big Data pour en afficher les détails.
  2. Connectez-vous à la console de déploiement du service de mégadonnées à l'aide des données d'identification spécifiées lors de la création du déploiement. Vous accédez à la page Aperçu du serveur d'administration.
  3. Ajouter des données d'identification :
    1. Ouvrez le menu de navigation, puis cliquez sur Configuration.
    2. Dans la page Données d'identification, cliquez sur Ajouter des données d'identification (icône plus).
    3. Entrez les détails suivants dans les champs fournis, puis cliquez sur Soumettre :
      • Pour Domaine de données d'identification, entrez OracleGoldenGate.
      • Pour Alias de données d'identification, entrez kafka.
      • Pour ID utilisateur : Entrez kafka://
      • Pour Mot de passe, entrez un mot de passe.
      • Pour Vérifier le mot de passe, entrez de nouveau le mot de passe.
Pour ajouter une extraction pour Kafka dans OCI GoldenGate pour les déploiements de mégadonnées version 21.9 ou ultérieure :
  1. Dans le menu de navigation, cliquez sur Aperçu pour retourner à la page Aperçu du service d'administration.
  2. Cliquez sur Ajouter une extraction (icône plus).
  3. Dans la page Ajouter une extraction, sélectionnez les éléments suivants, puis cliquez sur Suivant :
    • Source : Kafka
    • Type d'extraction : Extraction de saisie de modification de données
  4. Dans la page Options d'extraction, entrez les valeurs suivantes dans les champs, puis cliquez sur Suivant :
    • Dans le champ Process Name, entrez un nom comportant jusqu'à 8 caractères.
    • (Facultatif) Entrez une description.
    • Pour Connection Alias, sélectionnez l'alias de connexion précédemment affecté.
    • Pour Début, sélectionnez Maintenant.
    • Pour Nom de la piste, entrez un nom à 2 caractères.
    • (Facultatif) Activez Kafka Connect, si la source est un cadre Kafka Connect.
    • (Facultatif) Si Kafka Connect est sélectionné, sélectionnez un des convertisseurs disponibles :
      • JSON
      • AVRO
    • (Facultatif) Si AVRO est sélectionné, sélectionnez Registre de schéma.
    • (Facultatif) Sous Options gérées, vous pouvez configurer les éléments suivants :
      • Nom du profil
      • Démarrage automatique
      • Redémarrage automatique

      Note :

      L'ajout d'un profil et la configuration des options de démarrage automatique et de redémarrage automatique permettent à votre déploiement de redémarrer automatiquement après une interruption du réseau. Pour plus d'informations, voir Configurer les processus gérés.
  5. Dans la page Parameter File, mettez à jour les éléments suivants :
    1. Mettre à jour SOURCEDB USERIDALIAS à SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Laissez le mappage de table tel quel (TABLE source.*;) pour écouter toutes les rubriques du serveur d'amorçage indiqué. Pour effectuer une saisie à partir d'un sujet désigné, remplacez le mappage par TABLE source.<topic-name>;, où <topic-name> est le nom du sujet à saisir.

      Note :

      Le format de mappage de l'extraction est Table SourceSchema.Table. Dans Kafka, il n'y a aucun schéma/table source. OCI GoldenGate écrit la première partie ("source" à l'étape ci-dessus) en tant que nom de schéma et la deuxième partie en tant que nom de table pour le fichier de piste. De cette façon, vous pouvez répliquer le message kafka saisi dans d'autres cibles prises en charge par GoldenGate.
  6. Cliquez sur Créer et exécuter.
Vous revenez à la page Aperçu du service d'administration, où vous pouvez observer le statut d'extraction. Vous pouvez ensuite sélectionner l'extraction pour voir ses détails, ses statistiques et ses rapports.