Connecter les données Kafka Streams à Oracle Autonomous Database

Vous pouvez créer une instance de calcul et installer Kafka pour envoyer des messages en tant que fournisseur ou suivre les étapes suivantes dans la console OCI.

Connectez-vous à la console OCI et allez à Marketplace.
Sous Toutes les applications, recherchez GoldenGate Stream Analytics.
Cliquez sur Lancer la pile.
Fournissez les détails du VCN et ajoutez une clé publique SSH pour vous connecter à l'instance d'analyse de flux GoldenGate à l'aide de la clé privée ultérieurement.

Note :
Cette instance d'analyse de flux GoldenGate a un exemple intégré de flux Kafka (producteurs), si vous avez vos propres flux Kafka, vous pouvez également l'utiliser.

Créer une base de données autonome

Cliquez sur Oracle Database dans le menu supérieur gauche, puis sur Autonomous Database.
Dans la page d'accueil Bases de données autonomes, cliquez sur Créer une base de données Autonomous Database.
Sélectionnez un compartiment dans lequel créer la base de données.
Nom d'affichage : Entrez une description conviviale ou d'autres informations qui vous aident à identifier facilement Autonomous Database.
Nom de la base de données : Fournissez un nom pour la nouvelle base de données Autonomous Database.
Sélectionnez le type de charge de travail comme entrepôt de données.
Sélectionnez le type de déploiement Sans serveur.
Sélectionnez Version de la base de données comme 19c, le nombre d'ECPU comme 2 et le stockage (To) comme 1.
Créez les données d'identification de l'administrateur et entrez le mot de passe. Le mot de passe doit respecter les critères de complexité des mots de passe basés sur les normes de sécurité d'Oracle Cloud. Pour plus d'informations sur les règles de complexité des mots de passe, voir Créer des utilisateurs de base de données.
Sélectionnez Accès réseau comme Accès sécurisé de partout.
Conservez les paramètres restants par défaut et cliquez sur Créer une base de données Autonomous Database.

Votre affichage affiche Provisionnement jusqu'à ce que la nouvelle base de données Autonomous Database soit disponible.

Créer une table pour stocker les messages Kafka

Ouvrez SQLDeveloper et cliquez sur l'icône + pour Créer une connexion à la base de données Oracle.
Entrez un nom de connexion, entrez le nom d'utilisateur et le mot de passe de la base de données.
Sélectionnez le type de connexion comme portefeuille en nuage et recherchez le fichier wallet.zip, puis cliquez sur Connexion. La connexion doit être créée.

Créez un exemple de table à l'aide du script suivant :

CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Créer une instance Oracle Integration 3

Dans la console OCI, cliquez sur Services de développement et, sous Intégration d'applications, cliquez sur Intégration.
Dans la page d'accueil Instances d'intégration, cliquez sur Créer une instance.
Entrez un nom, sélectionnez Version comme Oracle Integration 3, Édition comme Entreprise, Forme comme Production et Type de licence comme S'abonner à une nouvelle instance Oracle Integration.
Cliquez sur Créer.

Une fois l'instance créée, cliquez sur la console de service pour ouvrir une nouvelle fenêtre.

Créer une connexion à Oracle Autonomous Data Warehouse dans Oracle Integration 3

Dans l'instance Oracle Integration, cliquez sur le menu hamburger et, sous Conception, sélectionnez Connexions.
Cliquez sur Créer, recherchez Oracle ADW et sélectionnez.
Entrez un nom, un identificateur, un rôle comme déclencheur et appel, un mot clé et une description de cette connexion.
Sous Propriétés, développez Propriétés facultatives et entrez le nom du service.
Sous Sécurité, sélectionnez JDBC sur SSL et chargez le fichier Wallet.zip.
Entrez le mot de passe du portefeuille indiqué lors de la création de la base de données.
Entrez le nom d'utilisateur du service de base de données en tant qu'administrateur.
Entrez le mot de passe du service de base de données pour l'administrateur.
Sélectionnez le type d'accès Passerelle publique.
Cliquez sur Tester en haut à droite.
Lorsqu'un message s'affiche, cliquez sur Enregistrer.

Associer un groupe d'agents dans l'instance Kafka

Vous avez besoin d'un agent qui doit être exécuté dans l'instance où vos flux Kafka sont installés.

Dans l'instance Oracle Integration 3, cliquez sur le menu hamburger et, sous Conception, sélectionnez Agents.
Dans la page Agents, cliquez sur Créer.
Entrez un nom, un identificateur, une description et cliquez sur Créer.
Une fois l'agent créé, cliquez sur Télécharger, puis sur Agent de connectivité.
Une fois le téléchargement réussi, copiez oic_conn_agent_installer.zip dans l'instance Kafka où vos sujets Kafka s'exécutent et produisent des messages. Dans cet exemple de livre de jeu de solution, il s'agit de l'instance d'analyse de flux Oracle GoldenGate.
Décompressez oic_conn_agent_installer.zip.
Sous la colonne Statut, cliquez sur l'icône ..., puis sur Télécharger la configuration.
Copiez le fichier InstallerProfile.cfg et copiez-le dans l'instance Kafka.
Remplacez le fichier InstallerProfile.cfg dans l'instance Kafka.
Après avoir remplacé InstallerProfile.cfg, exécutez l'énoncé suivant pour démarrer l'agent dans l'instance d'analyse de flux Oracle GoldenGate ou dans votre instance Kafka sur place à l'aide de cette commande :
```
$ java -jar connectivityagent.jar
```

L'agent doit être démarré, laissez-le en cours d'exécution et ne vous arrêtez pas. Pour plus d'informations, voir Utilisation des intégrations dans Oracle Integration Génération 2

Créer une connexion Kafka dans Oracle Integration 3

Dans l'instance Oracle Integration 3, cliquez sur le menu hamburger et, sous Conception, sélectionnez Connexions.
Cliquez sur Créer, recherchez Apache Kafka et sélectionnez.
Entrez un nom, un identificateur, un rôle comme déclencheur et appel, un mot clé et une description pour cette connexion.
Sous Propriétés, entrez les serveurs d'amorçage : instancename:9092.

Note :
Dans le VCN utilisé par l'instance Kafka, sous Liste de sécurité, vous devez ajouter le port 9092 pour autoriser le trafic.
Sélectionnez Aucune politique de sécurité pour Sécurité.
Sélectionnez Type d'accès comme Agent de connectivité et cliquez sur Associer un groupe d'agents.
Sélectionnez l'agent et cliquez sur Utiliser.
Cliquez sur Test. Vous devriez obtenir un message réussi.
Cliquez sur Enregistrer.

Créer une intégration entre Kafka et Oracle Autonomous Data Warehouse dans Oracle Integration 3

Dans l'instance Oracle Integration 3, cliquez sur le menu hamburger et, sous Conception, sélectionnez Intégrations.
Cliquez sur Créer et, dans la boîte de dialogue Créer une intégration, sélectionnez Application.
Entrez le nom de l'intégration KafkaToADW et cliquez sur Créer.

Note :
Vous remarquerez deux connexions que vous avez créées pour Kafka et Oracle Autonomous Data Warehouse en tant que déclencheurs.
Sélectionnez Kafka et vous serez invité à entrer un nom pour le déclencheur, sélectionnez Type de message comme Consommateur et cliquez sur Continuer.
Sélectionnez le sujet Kafka dans la liste déroulante et indiquez un nom de consommateur, laissez les champs par défaut et cliquez sur Continuer.
Sélectionnez Structure du message comme Exemple de document JSON, puis glissez-déposez le même fichier JSON.
Dans la fenêtre Sommaire, vérifiez tous les détails et cliquez sur Terminer.
Vous remarquerez une flèche vers le bas sous le déclencheur qui a été créé.
Cliquez sur l'icône + et sous Appeler, sélectionnez ADW et vous verrez une zone supplémentaire nommée Carte.
Déplacez la souris sur Appeler, cliquez sur ... et sélectionnez Modifier.
Indiquez un nom et sélectionnez Effectuer une opération sur une table pour le champ Quelles opérations voulez-vous effectuer?, sélectionnez Insérer et cliquez sur Continuer.
Sélectionnez la table, cliquez sur Continuer et, dans la page Sommaire, cliquez sur Terminer.
Ensuite, déplacez la souris sur la zone Mappage, cliquez sur ... et sélectionnez Modifier.
Dans la page Mappage, connectez les champs Source et Cible.
Cliquez sur Valider pour valider.
Dans la page Intégration, cliquez sur Enregistrer pour configurer l'intégration.
Dans la page d'accueil Intégration, déplacez le curseur de la souris sur le champ Statut et cliquez sur l'icône Alimentation pour l'activer.
Vous verrez une fenêtre par nom Activer l'intégration, sélectionnez Production et cliquez sur Activer. L'intégration va être activée pour la consommation des messages Kafka.
Démarrez le sujet Kafka et vous verrez les messages stockés dans la base de données. Ouvrez SQLDeveloper, ouvrez le tableau et cliquez sur l'onglet Données pour voir les messages.
Si vous avez vos propres flux Kafka, vous pouvez commencer à produire des messages dans le même format.
Si vous utilisez Oracle GoldenGate Stream Analytics, accédez par SSH à votre instance Oracle GoldenGate Stream Analytics et allez au dossier /u01/app/osa/utilities/kafka-utils.
Vous pouvez utiliser sample.json comme données entrantes. Utilisez ce format json :
```
{"fruit": "Apple","total": "Large","color": "Red"}
```

Exécutez la commande suivante pour boucler le flux de données en tant que sujet Kafka :

opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Vérifier les données

Ouvrez la console Oracle Integration, cliquez sur Observabilité et sélectionnez Intégrations.
Vous trouverez les détails des données reçues, traitées et réussies.
Ouvrez Oracle SQL Developer et vérifiez la table pour vérifier si les données y sont disponibles.
1. Cliquez sur Connexions Oracle et sélectionnez votre base de données Oracle Autonomous Data Warehouse.
2. Développez Tables, sélectionnez l'exemple de table et vous remarquerez les données.