Connexion des données de flux Kafka à Oracle Autonomous Database

Vous pouvez créer une instance de calcul et installer Kafka pour envoyer des messages en tant que fournisseur de portlets, ou utiliser les étapes suivantes dans la console OCI.

Connectez-vous à la console OCI et accédez à Marketplace.
Sous Toutes les applications, recherchez GoldenGate Stream Analytics.
Cliquez sur Lancer la pile.
Fournissez les détails du VCN et ajoutez une clé publique SSH pour vous connecter à l'instance GoldenGate Stream Analytics à l'aide de la clé privée ultérieurement.

Remarques :
Cette instance GoldenGate Stream Analytics dispose d'un exemple intégré de flux Kafka (producteurs) installés. Si vous disposez de vos propres flux Kafka, vous pouvez également l'utiliser.

Création d'une base de données autonome

Cliquez sur Oracle Database dans le menu en haut à gauche, puis sur Autonomous Database.
Sur la page d'accueil Bases de données autonomes, cliquez sur Créer une base de données Autonomous Database.
Sélectionnez un compartiment dans lequel créer la base de données.
Nom d'affichage : entrez une description conviviale ou d'autres informations qui vous aident à identifier facilement l'instance Autonomous Database.
Nom de base de données : indiquez le nom de la nouvelle instance Autonomous Database.
Choisissez le type de charge globale en tant qu'entrepôt de données.
Choisissez le type de déploiement sans serveur.
Choisissez Version de base de données comme 19c, Nombre d'ECPU comme 2 et Stockage (To) comme 1.
Créez les informations d'identification de l'administrateur et entrez le mot de passe. Le mot de passe doit répondre aux critères de complexité des mots de passe renforcés conformément aux normes de sécurité d'Oracle Cloud. Pour plus d'informations sur les règles de complexité des mots de passe, reportez-vous à Création d'utilisateurs de base de données.
Choisissez l'accès réseau comme accès sécurisé à partir de n'importe quel emplacement.
Conservez les paramètres restants comme paramètres par défaut et cliquez sur Créer une instance Autonomous Database.

L'affichage affiche Provisionnement jusqu'à ce que la nouvelle instance Autonomous Database soit disponible.

Créer une table pour stocker les messages Kafka

Ouvrez SQLDeveloper et cliquez sur l'icône + pour créer une connexion à la base de données Oracle.
Entrez un nom de connexion, indiquez le nom utilisateur et le mot de passe de la base de données.
Sélectionnez le type de connexion en tant que portefeuille cloud, recherchez le fichier wallet.zip et cliquez sur Connexion. La connexion doit être créée.

Créez un exemple de table à l'aide du script suivant :

CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Création d'une instance Oracle Integration 3

Dans la console OCI, cliquez sur Services de développeur et, sous Intégration d'application, cliquez sur Intégration.
Sur la page d'accueil des instances d'intégration, cliquez sur Créer une instance.
Entrez un nom, sélectionnez Version en tant qu'Oracle Integration 3, Edition en tant qu'entreprise, Forme en tant que Production et Type de licence en tant qu'Abonnement à une nouvelle instance Oracle Integration.
Cliquez sur Créer.

Une fois l'instance créée, cliquez sur la console de service pour ouvrir une nouvelle fenêtre.

Création d'une connexion Oracle Autonomous Data Warehouse dans Oracle Integration 3

Dans l'instance Oracle Integration, cliquez sur le menu latéral et, sous Conception, sélectionnez Connexions.
Cliquez sur Créer, recherchez Oracle ADW et sélectionnez.
Entrez un nom, un identificateur, un rôle en tant que déclencheur et appel, un mot-clé et une description pour cette connexion.
Sous Propriétés, développez Propriétés facultatives et entrez le Nom de service.
Sous Sécurité, sélectionnez JDBC sur SSL, puis téléchargez le fichier Wallet.zip.
Entrez le mot de passe de portefeuille fourni lors de la création de la base de données.
Entrez le nom utilisateur du service de base de données en tant qu'administrateur.
Entrez le mot de passe du service de base de données pour l'administrateur.
Sélectionnez le type d'accès en tant que passerelle publique.
Cliquez sur Tester en haut à droite.
Lorsqu'un message de succès s'affiche, cliquez sur Enregistrer.

Associer un groupe d'agents dans l'instance Kafka

Vous avez besoin d'un agent qui doit être en cours d'exécution dans l'instance sur laquelle les flux Kafka sont installés.

Dans l'instance Oracle Integration 3, cliquez sur le menu latéral et, sous Conception, sélectionnez Agents.
Sur la page Agents, cliquez sur Créer.
Entrez un nom, un identificateur, une description et cliquez sur Créer.
Une fois l'agent créé, cliquez sur Télécharger, puis sur Agent de connectivité.
Une fois le téléchargement effectué, copiez oic_conn_agent_installer.zip vers l'instance Kafka sur laquelle les rubriques Kafka sont exécutées et générez des messages. Dans cet exemple de guide stratégique de solution, il s'agit de l'instance Oracle GoldenGate Stream Analytics.
Décompressez oic_conn_agent_installer.zip.
Sous la colonne Statut, cliquez sur l'icône ..., puis sur Télécharger la configuration.
Copiez le fichier InstallerProfile.cfg et copiez ce fichier vers l'instance Kafka.
Remplacez le fichier InstallerProfile.cfg dans l'instance Kafka.
Après avoir remplacé InstallerProfile.cfg, exécutez l'instruction suivante pour démarrer l'agent dans l'instance Stream Analytics Oracle GoldenGate ou dans votre instance Kafka sur site à l'aide de cette commande :
```
$ java -jar connectivityagent.jar
```

L'agent doit être démarré, le laisser en cours d'exécution et ne pas s'arrêter. Pour plus d'informations, reportez-vous à Utilisation des intégrations dans Oracle Integration Generation 2.

Création d'une connexion Kafka dans Oracle Integration 3

Dans l'instance Oracle Integration 3, cliquez sur le menu latéral et, sous Conception, sélectionnez Connexions.
Cliquez sur Créer, recherchez Apache Kafka et sélectionnez.
Entrez un nom, un identificateur, un rôle en tant que déclencheur et appel, un mot-clé et une description pour cette connexion.
Sous Propriétés, entrez les serveurs d'initialisation : instancename:9092.

Remarques :
Dans le VCN utilisé par l'instance Kafka, sous Liste de sécurité, vous devez ajouter le port 9092 pour autoriser le trafic.
Sélectionnez Aucune stratégie de sécurité pour Sécurité.
Sélectionnez Type d'accès comme Agent de connectivité et cliquez sur Associer un groupe d'agents.
Sélectionnez l'agent et cliquez sur Utiliser.
Cliquez sur Tester. Vous devriez obtenir un message de succès.
Cliquez sur Enregistrer.

Création d'une intégration entre Kafka et Oracle Autonomous Data Warehouse dans Oracle Integration 3

Dans l'instance Oracle Integration 3, cliquez sur le menu latéral et, sous Conception, sélectionnez Intégrations.
Cliquez sur Créer et, dans la boîte de dialogue Créer une intégration, sélectionnez Application.
Entrez le nom d'intégration KafkaToADW et cliquez sur Créer.

Remarques :
Vous remarquerez deux connexions que vous avez créées pour Kafka et Oracle Autonomous Data Warehouse en tant que déclencheurs.
Sélectionnez Kafka et vous serez invité à saisir un nom pour le déclencheur, sélectionnez Type de message en tant que Consommateur et cliquez sur Continuer.
Sélectionnez la rubrique Kafka dans la liste déroulante et indiquez un nom de destinataire, laissez les champs par défaut et cliquez sur Continuer.
Sélectionnez la structure de message comme exemple de document JSON, puis glissez-déplacez le même fichier JSON.
Dans la fenêtre Récapitulatif, vérifiez tous les détails et cliquez sur Terminer.
Vous remarquerez une flèche vers le bas sous le déclencheur qui a été créé.
Cliquez sur l'icône + et, sous Appeler, sélectionnez ADW et vous verrez une zone supplémentaire nommée Mettre en correspondance.
Passez le pointeur de la souris sur Appeler, cliquez sur ... et sélectionnez Modifier.
Indiquez un nom et sélectionnez Effectuer une opération sur une table pour le champ Opérations de type Que voulez-vous effectuer ?, sélectionnez Insérer et cliquez sur Continuer.
Sélectionnez la table, cliquez sur Continuer, puis sur Terminer sur la page Récapitulatif.
Ensuite, placez le curseur de la souris sur la zone Mettre en correspondance, cliquez sur ... et sélectionnez Modifier.
Sur la page Correspondance, connectez les champs Source et Cible.
Cliquez sur Valider et la validation doit aboutir.
Sur la page Intégration, cliquez sur Enregistrer, ce qui doit permettre de configurer l'intégration.
Sur la page d'accueil de l'intégration, déplacez le pointeur de la souris sur le champ Statut et cliquez sur l'icône d'alimentation pour l'activer.
Vous voyez une fenêtre nommée Activer l'intégration, sélectionnez Production et cliquez sur Activer. L'intégration sera activée pour utiliser les messages Kafka.
Démarrez le sujet Kafka et vous verrez les messages être stockés dans la base de données. Ouvrez SQLDeveloper, ouvrez la table et cliquez sur l'onglet Données pour afficher les messages.
Si vous disposez de vos propres flux Kafka, vous pouvez commencer à produire des messages dans le même format.
Si vous utilisez Oracle GoldenGate Stream Analytics, accédez à l'instance Oracle GoldenGate Stream Analytics via SSH et accédez au dossier /u01/app/osa/utilities/kafka-utils.
Vous pouvez utiliser sample.json comme données entrantes. Utilisez ce format json :
```
{"fruit": "Apple","total": "Large","color": "Red"}
```

Exécutez la commande suivante pour mettre en boucle le flux de données en tant que sujet Kafka :

opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Vérification des données

Ouvrez la console Oracle Integration, cliquez sur Observation et sélectionnez Intégrations.
Vous obtiendrez les détails relatifs aux données reçues, traitées et traitées.
Ouvrez Oracle SQL Developer et vérifiez la table pour vérifier si les données y sont disponibles.
1. Cliquez sur Connexions Oracle et sélectionnez la base de données Oracle Autonomous Data Warehouse.
2. Développez Tables, sélectionnez la table Sample et vous remarquerez les données.