Connexion de données Kafka Streams à Oracle Autonomous Database

Oracle GoldenGate Stream Analytics permet aux utilisateurs de créer des pipelines d'analyse et de transformation de données évolutifs pour obtenir des informations commerciales agiles en temps réel.

Cette section suppose que vous avez déjà installé Oracle Autonomous Database à partir de la section Avant de commencer. Vous allez maintenant apprendre à effectuer les opérations suivantes :

Accédez à la console GGSA.
Configurez l'émetteur Kafka pour l'inclusion des données.
Connectez GGSA pour Kafka à Autonomous Database.

Accès à la console GGSA

Dans la console OCI, sous Compute, sélectionnez Instances. L'instance de marché GGSA doit être en fonctionnement.
Copiez l'adresse IP publique.
Connectez-vous à l'instance à l'aide de votre clé privée et vérifiez README.txt sous /home/opc.
Copiez le mot de passe de l'interface utilisateur OSA.
Ouvrez un navigateur et entrez https://<Public IP Address>/osa.
Entrez le nom utilisateur osaadmin et utilisez le mot de passe copié à partir de README.txt.

Configurer l'émetteur Kafka pour l'inclusion de données

Suivez ces étapes pour créer un flux Kafka.

Sur la page Catalogue, cliquez sur Créer un nouvel élément.
Placez le curseur de la souris sur Connexion et sélectionnez Kafka dans le sous-menu.
Sur l'écran Propriétés du type, entrez un nom et sélectionnez Type de connexion Kafka. Pour cet exemple, nous utiliserons Kafka installé dans l'instance GGSA.
Dans l'écran Connection Details, saisissez localhost:2181 dans le champ Zookeepers.
Cliquez sur Tester la connexion. Le message Successful doit s'afficher.
Cliquez sur Enregistrer.

Remarque :
Assurez-vous que le port 2181 est ouvert dans votre instance entrante.

Suivez ces étapes pour lancer la rubrique Kafka afin d'ingérer des données.

Connectez-vous via SSH à votre instance GGSA et accédez au dossier /u01/app/osa/utilities/kafka-utils.
Vous utiliserez complex.json comme données entrantes.
Exécutez la commande suivante pour boucler la source de données en tant que sujet Kafka :
```
opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex
```
Le sujet Kafka complexe commence à produire des données et est prêt pour l'ingestion.
Sur la page Catalogue, cliquez sur Créer un élément pour créer un flux à l'aide de la connexion Kafka.
Placez le curseur de la souris sur Stream et sélectionnez Kafka dans le sous-menu.
Sur l'écran Propriétés de type, entrez un nom et sélectionnez le type de flux de données Kafka.
Cliquez sur Suivant.
Sur l'écran Détails de la source, sélectionnez la connexion Kafka que vous avez créée dans Connexions.
1. Sélectionnez le nom du sujet complexe.
2. Sélectionnez le format de données JSON.
Cliquez sur Suivant.
Dans l'écran Format de données, conservez les valeurs par défaut.
Cliquez sur Suivant.
Sur l'écran Forme, la forme JSON entrante est déduite du flux.
Cliquez sur Enregistrer. Le flux de données Kafka a été créé.

Connexion de GGSA pour Kafka à Autonomous Database

Suivez ces étapes pour créer une connexion à Oracle Autonomous Database à partir de GGSA.

Sur la page Catalogue, cliquez sur Créer un nouvel élément.
Placez le curseur de la souris sur Connexion et sélectionnez Oracle Database dans le sous-menu.
Sur l'écran Propriétés du type, entrez un nom et sélectionnez le type de connexion Oracle Database.
Cliquez sur Suivant.
Sur l'écran Détails de connexion, Type : Oracle Database, entrez les détails de connexion à Autonomous Database.
- Sélectionnez Portefeuille dans Connexion à l'aide de et téléchargez le fichier de portefeuille vers le serveur.
- Sélectionnez le nom de service/SID dans la liste déroulante.
- Saisissez le nom d'utilisateur admin.
- Entrez le mot de passe d'administrateur de base de données.
Cliquez sur Enregistrer. La connexion Autonomous Database a été créée.

Connectez-vous à un schéma dans Autonomous Database et créez une table pour recevoir les données.

CREATE TABLE COMPLEX
        (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
        , STRINGFIELD VARCHAR2(20)
        , OBJECTFIELD_A_KEY NUMBER
        , OBJECTFIELD_A_VALUE NUMBER
        , OBJECTFIELD_C VARCHAR2(20)
        , OBJECTFIELD_E VARCHAR2(20)
        , ARRAYFIELD_0 NUMBER
        , ARRAYFIELD_1 NUMBER
        
    );

Pour créer un pipeline dans GGSA et configurer la source et la cible, procédez comme suit :

Sur la page Catalogue, cliquez sur Créer un nouvel élément et sélectionnez Pipeline dans la liste déroulante.
Placez le curseur de la souris sur la cible et sélectionnez Table de base de données dans le sous-menu.
Sur l'écran Propriétés du type, entrez le nom de la cible, puis sélectionnez Type de cible Table de base de données.
Cliquez sur Suivant.
Sur l'écran Détails de la cible, sélectionnez la table Autonomous Database que vous avez créée précédemment dans la liste déroulante.
Cliquez sur Suivant.
Sur l'écran Forme, sélectionnez le nom de la table complexe dans la liste déroulante.
Cliquez sur Suivant.
Inférer la forme et cliquer sur Enregistrer.

Pour définir la cible, procédez comme suit :

Sur la page Catalogue, cliquez sur Créer un nouvel élément et sélectionnez Pipeline dans la liste déroulante.
Placez le curseur de la souris sur la cible et sélectionnez Flux Kafka dans le sous-menu.
Cliquez sur Enregistrer.
Dans le pipeline, cliquez avec le bouton droit de la souris sur le flux de données, sélectionnez Ajouter une phase, puis Cible.
Dans la fenêtre Créer une étape cible, entrez un nom et cliquez sur Enregistrer.
Sélectionnez la table Cible que vous avez créée précédemment.
Cliquez sur Publier pour publier le pipeline et rendre les données disponibles dans la table cible.
Connectez-vous à la base de données pour voir les données chargées dans la table complexe dans Autonomous Database.