Saisir des données à partir des plateformes Kafka

Utilisez OCI GoldenGate pour extraire des messages des sources de flux de la plate-forme Kafka.

Aperçu

Vous pouvez utiliser OCI GoldenGate pour saisir des messages provenant des sources de diffusion en continu suivantes :

  • Apache Kafka
  • Service de diffusion en continu pour OCI
  • Confluent Kafka, avec ou sans registre de schémas
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate lit les messages d'un ou plusieurs sujets Kafka, puis convertit les données en enregistrements de modification logiques écrits dans les fichiers de piste GoldenGate. GoldenGate Les processus de réplication peuvent ensuite utiliser les fichiers de piste de génération pour propager les données afin de prendre en charge les mises en oeuvre de SGBDR.

Tâche 1 : Configurer les propriétés du consommateur

  1. Créez un fichier de propriétés de consommateur Kafka avec l'un des désérialiseurs ou convertisseurs suivants. Si la source est un sujet dans Confluent Kafka avec registre de schémas, vous pouvez utiliser le convertisseur Avro. Pour d'autres sources, utilisez le convertisseur JSON ou le désérialiseur selon les besoins :
    • Propriétés du consommateur Kafka pour le désérialiseur JSON : 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • Propriétés du consommateur Kafka pour le convertisseur JSON :
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Propriétés du consommateur Kafka pour le convertisseur Avro :
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. Enregistrez le fichier de propriétés et notez son emplacement.

Tâche 2 : Créer des ressources GoldenGate pour OCI

Cette tâche vous guide lors de la création de nouvelles ressources si elles n'existent pas encore. Assurez-vous que le déploiement du service de mégadonnées que vous utilisez est mis à niveau vers la dernière version disponible.

  1. Créez un déploiement de GoldenGate pour OCI pour le service de mégadonnées.
  2. Créez une connexion.

    Note :

    Lorsque vous créez l'une des connexions suivantes, assurez-vous de cliquer sur Afficher les options avancées, puis de charger le fichier de propriétés du consommateur.
  3. Affectez la connexion au déploiement du service de mégadonnées.

Tâche 3 : Créer des données d'identification

Avant de créer Extract, vous devez créer des données d'identification.
Pour créer des données d'identification :
  1. Sélectionnez le déploiement du service de mégadonnées dans la page Déploiements.
  2. Dans la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous au déploiement du service de mégadonnées avec le nom d'utilisateur et le mot de passe spécifiés lors de la création du déploiement au cours de la tâche 2 de l'étape 1.
  4. Dans le menu de navigation, sélectionnez Connexions à la base de données.
  5. Dans la page Configuration, sous l'onglet Base de données, cliquez sur Ajouter une connexion à la base de données (icône plus), puis remplissez le formulaire comme suit :
    1. Pour Domaine de données d'identification, entrez OracleGoldenGate.
    2. Pour A alias de données d'identification, entrez kafka.
    3. Pour ID utilisateur, entrez kafka://
    4. Pour Password et Verify Password, entrez un mot de passe.
    5. Cliquez sur Soumettre.

Tâche 4 : Créer le processus d'extraction

  1. Dans la page Aperçu du service d'administration, cliquez sur Ajouter Extract (icône plus).
  2. Ajouter une extraction avec les valeurs suivantes :
    1. Dans la page Informations sur Extract, remplissez le champ comme suit, puis cliquez sur Suivant :
      • Pour Type Extract, sélectionnez Integrated Extract.
      • Pour Nom du processus, entrez un nom pour le processus d'extraction.
    2. Dans la page Options Extract, remplissez les champs comme suit, puis cliquez sur Suivant :
      • Pour Domaine, sélectionnez le domaine.
      • Pour Alias, sélectionnez la connexion affectée au déploiement.
      • Pour Nom, entrez un nom à 2 caractères.
    3. Dans la page Options gérées, laissez les champs tels quels et cliquez sur Suivant.
    4. Dans la page Parameter File :
      • Laissez le mappage de table TABLE TESTSCHEMA.*; pour écouter tous les sujets du serveur d'amorçage indiqué. Vous pouvez également définir le mappage de table comme TABLE TESTSCHEMA.<topic-name>; pour la saisie à partir d'un sujet désigné.
      • Mettez à jour SOURCEDB USERIDALIAS à SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    5. Cliquez sur Créer et exécuter.
Vous retourz à la page Aperçu de Administration Service, où vous pouvez observer le démarrage du processus Extract et consulter les messages d'événement.