Capture de données à partir des plates-formes Kafka

Utilisez OCI GoldenGate pour extraire les messages des sources de transmission en continu de la plate-forme Kafka.

Présentation

Vous pouvez utiliser OCI GoldenGate pour capturer des messages à partir des sources de transmission en continu suivantes :

Apache Kafka
OCI Streaming
Confluent Kafka, avec ou sans registre de schémas Confluent
Azure Event Hubs
Amazon MSK
Microsoft Fabric Eventstream

OCI GoldenGate lit des messages à partir d'une ou de plusieurs rubriques Kafka, puis convertit les données en enregistrements de modification logique écrits dans les fichiers de suivi GoldenGate. Les processus de réplication GoldenGate peuvent ensuite utiliser les fichiers de trace générés pour propager les données afin de prendre en charge les implémentations de SGBDR.

Tâche 1 : configurer les propriétés du destinataire

Créez un fichier de propriétés Kafka Consumer avec l'un des désérialiseurs ou convertisseurs suivants. Si la source est un sujet dans Confluent Kafka avec le registre de schéma Confluent, vous pouvez utiliser le convertisseur Avro. Pour les autres sources, utilisez le convertisseur JSON ou le désérialiseur selon vos besoins :
- Propriétés du consommateur Kafka pour le désérialiseur JSON :
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
- Propriétés du consommateur Kafka pour le convertisseur JSON :
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
- Propriétés Kafka Consumer pour le convertisseur Avro :
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
Enregistrez le fichier de propriétés et notez son emplacement.

Tâche 2 : créer des ressources OCI GoldenGate

Cette tâche vous aide à créer des ressources si elles n'existent pas encore. Assurez-vous que le déploiement Big Data que vous utilisez est mis à niveau vers la dernière version disponible.

Créez un déploiement OCI GoldenGate pour Big Data.
Créez une connexion.

Remarque : lors de la création de l'une des connexions suivantes, assurez-vous que vous sélectionnez Afficher les options avancées, puis chargez le fichier de propriétés du destinataire.
- Pour Apache Kafka ou Amazon MSK, créez une connexion Kafka.
- Pour Confluent Kafka, créez une connexion Confluent Kafka.
- Pour Confluent Schema Registry, créez une connexion au registre de schéma Confluent.
- Pour les hubs d'événements Azure, créez une connexion Azure Event Hubs.
- Pour OCI Streaming, créez une connexion OCI Streaming.
- Pour Microsoft Fabric Eventstream, créez une connexion Microsoft Fabric Eventstream
Affectez la connexion au déploiement Big Data.

Tâche 3 : créer des informations d'identification

Pour pouvoir créer l'extraction, vous devez d'abord créer des informations d'identification.

Pour créer des informations d'identification, procédez comme suit :

Sélectionnez le déploiement Big Data sur la page Déploiements.
Sur la page de détails du déploiement, sélectionnez Lancer la console.
Connectez-vous au déploiement Big Data à l'aide du nom utilisateur et du mot de passe indiqués lorsque vous avez créé le déploiement à l'étape 1 de la tâche 2.
Dans le menu de navigation, sélectionnez Connexions de base de données.
Sur la page Configuration, sous l'onglet Base de données, sélectionnez Ajouter une connexion de base de données (icône Plus), puis remplissez le formulaire comme suit :
1. Dans Domaine d'informations d'identification, entrez OracleGoldenGate.
2. Dans Alias d'informations d'identification, entrez kafka.
3. Dans ID utilisateur, entrez kafka://.
4. Dans les champs Mot de passe et Vérifier les mots de passe, saisissez un mot
5. Sélectionnez Soumettre.

Tâche 4 : créer l'extraction

Sur la page d'accueil, sélectionnez Ajouter une extraction (icône Plus).
Ajoutez une extraction avec les valeurs suivantes :
1. Sur la page Informations sur l'extraction, renseignez le champ comme suit, puis sélectionnez Suivant :
  - Dans Type d'extraction, sélectionnez Extraction intégrée.
  - Dans Nom de processus, entrez le nom de l'extraction.
2. Sur la page Options d'extraction, renseignez les champs comme suit, puis sélectionnez Suivant :
  - Pour Domaine, sélectionnez le domaine.
  - Dans Alias, sélectionnez la connexion affectée au déploiement.
  - Pour Nom, entrez un nom à 2 caractères.
3. Sur la page Options gérées, laissez les champs tels quels, puis sélectionnez Suivant.
4. Dans la page Parameter File :
  - Laissez le mapping de table TABLE TESTSCHEMA.*; pour écouter tous les sujets du serveur d'amorçage donné. Vous pouvez également définir le mapping de table sur TABLE TESTSCHEMA.<topic-name>; pour la capture à partir d'une rubrique désignée.
  - Mettez à jour SOURCEDB USERIDALIAS vers SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
5. Sélectionnez Créer et exécuter.

Vous revenez à la page d'accueil d'Oracle GoldenGate, dans laquelle vous pouvez observer les messages d'événement de début et de révision du processus Extract.