Capture de données à partir des plates-formes Kafka

Présentation

Vous pouvez utiliser OCI GoldenGate pour capturer des messages à partir des sources de transmission en continu suivantes :

Apache Kafka
OCI Streaming
Confluent Kafka, avec ou sans registre de schéma
Azure Event Hubs
Amazon MSK

OCI GoldenGate lit des messages de rubriques Kafka, puis convertit les données en enregistrements logiques de modification écrits dans des fichiers de trace GoldenGate. GoldenGate Les processus de réplication peuvent ensuite utiliser les fichiers de trace de génération pour propager des données afin de prendre en charge des implémentations de SGBDR.

Tâche 1 : configurer les propriétés du destinataire

Créez un fichier de propriétés de consommateur Kafka avec l'un des désérialiseurs ou convertisseurs suivants. Si la source est un sujet dans Confluent Kafka avec Schema Registry, vous pouvez utiliser le convertisseur Avro. Pour les autres sources, utilisez le convertisseur JSON ou le désérialiseur selon vos besoins :
- Propriétés de consommateur Kafka pour le désérialiseur JSON :
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
- Propriétés de consommateur Kafka pour le convertisseur JSON :
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
- Propriétés Kafka Consumer pour convertisseur Avro :
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
Enregistrez le fichier de propriétés et notez son emplacement.

Tâche 2 : créer des ressources OCI GoldenGate

Cette tâche vous aide à créer des ressources si elles n'existent pas encore. Assurez-vous que le déploiement Big Data que vous utilisez est mis à niveau vers la dernière version disponible.

Créez un déploiement OCI GoldenGate pour Big Data.
Créez une connexion.

Remarques :
Lorsque vous créez l'une des connexions suivantes, veillez à cliquer sur Afficher les options avancées, puis à télécharger le fichier de propriétés Consommateur.
- Pour Apache Kafka ou Amazon MSK, créez une connexion Kafka.
- Pour Confluent Kafka, créez une connexion Kafka Confluent.
- Pour le registre de schéma Confluent, créez une connexion à ce registre.
- Pour Azure Event Hubs, créez une connexion Azure Event Hubs.
- Pour OCI Streaming, créez une connexion OCI Streaming.
Affectez la connexion au déploiement Big Data.

Tâche 3 : créer des informations d'identification

Avant de créer Extract, vous devez créer des informations d'identification.

Pour créer des informations d'identification, procédez comme suit :

Sélectionnez le déploiement Big Data sur la page Déploiements.
Sur la page des détails du déploiement, cliquez sur Lancer la console.
Connectez-vous au déploiement Big Data avec le nom utilisateur et le mot de passe indiqués lorsque vous avez créé le déploiement à l'étape 1 de la tâche 2.
Dans le menu de navigation, sélectionnez Connexions de base de données.
Sur la page Configuration, sous l'onglet Base de données, cliquez sur Ajouter une connexion de base de données (icône Plus), puis remplissez le formulaire comme suit :
1. Dans Domaine d'informations d'identification, entrez OracleGoldenGate.
2. Dans Alias d'informations d'identification, entrez kafka.
3. Dans ID utilisateur, entrez kafka://.
4. Dans Mot de passe et Vérifier le mot de passe, saisissez un mot de passe.
5. Cliquez sur Soumettre.

Tâche 4 : créer l'extraction

Sur la page de présentation du service d'administration, cliquez sur Ajouter Extract (icône Plus).
Ajoutez une extraction avec les valeurs suivantes :
1. Sur la page d'informations Extract, renseignez le champ comme suit, puis cliquez sur Suivant :
  - Pour Extract Type, sélectionnez Integrated Extract.
  - Dans Nom de processus, saisissez le nom de l'extraction.
2. Sur la page Options Extract, renseignez les champs comme suit, puis cliquez sur Suivant :
  - Dans Domaine, sélectionnez le domaine.
  - Dans Alias, sélectionnez la connexion affectée au déploiement.
  - Dans Nom, saisissez un nom à 2 caractères.
3. Sur la page Options gérées, laissez les champs tels quels, puis cliquez sur Suivant.
4. Dans la page Parameter File :
  - Conservez la correspondance de table TABLE TESTSCHEMA.*; pour écouter toutes les rubriques du serveur d'initialisation indiqué. Vous pouvez également définir la correspondance de table sur TABLE TESTSCHEMA.<topic-name>; pour la capture à partir d'une rubrique désignée.
  - Mettez à jour SOURCEDB USERIDALIAS vers SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
5. Cliquez sur Créer et exécuter.

Vous revenez à la page de présentation Administration Service, dans laquelle vous pouvez observer le démarrage du processus Extract et consulter des messages d'événement.