En savoir plus sur la connexion de flux de données en temps réel à Oracle Autonomous Database

La transmission de données en temps réel vers votre plate-forme d'entrepôt de données à des fins de traitement et de génération de rapports instructifs peut s'avérer une tâche ardue.

Lorsque JSON est utilisé pour les formats de données de transmission en continu, la conversion des données peut être un défi. Dans cette solution, vous apprendrez à utiliser des ressources Oracle Cloud Infrastructure telles qu'Oracle GoldenGate Stream Analytics pour diffuser des données Kafka vers Oracle Autonomous Database.

Avant de commencer

Avant de commencer, effectuez l'installation suivante à partir d'Oracle Live Labs :

• Installer une instance Autonomous Database optimisée pour les charges globales d'entreposage de données

Architecture

Cette architecture présente les flux Kafka sur site, Oracle Stream Analytics et Oracle Autonomous Database dans une région OCI.

Utilisez cette architecture pour inclure des données d'un flux Kafka sur site dans Oracle GoldenGate Stream Analytics (GGSA).

Description de l'illustration kafka-stream-adb-goldengate-arch.png

kafka-stream-adb-goldengate-arch.zip

1. La région OCI contenant GGSA ingère des données à partir des flux Kafka sur site.
2. GGSA diffuse et convertit les données JSON en données relationnelles.
3. GGSA stocke les données dans une table relationnelle dans Autonomous Database.

Cette architecture prend en charge les composants suivants :

• Flux Kafka

  Kafka Streams est une bibliothèque client destinée à la création d'applications et de microservices, dans laquelle les données d'entrée et de sortie sont stockées dans des clusters Kafka. Elle combine la simplicité d'écriture et de déploiement des applications Java et Scala standard côté client avec les avantages de la technologie de cluster côté serveur de Kafka.

  Kafka Streams simplifie considérablement le traitement des flux à partir des rubriques. Basé sur les bibliothèques client Kafka, il offre un parallélisme des données, une coordination distribuée, une tolérance aux pannes et une évolutivité. Kafka Streams utilise les concepts de partitions et de tâches en tant qu'unités logiques fortement liées aux partitions de sujet. En outre, il utilise des threads pour les traitements parallèles au sein d'une instance d'application. Une autre fonctionnalité importante prise en charge est les banques d'états, utilisées par Kafka Streams pour stocker et interroger les données issues des rubriques.

  Oracle GoldenGate pour les flux de gestionnaire Kafka modifient les données de capture d'une trace Oracle GoldenGate vers une rubrique Kafka.

• Oracle GoldenGate

  Oracle Cloud Infrastructure GoldenGate est un service entièrement géré qui permet l'assimilation de données à partir de sources résidant sur site ou dans n'importe quel cloud, en exploitant la technologie CDC GoldenGate pour une capture de données et une distribution non intrusives et efficaces à Oracle Autonomous Data Warehouse en temps réel et à grande échelle afin de mettre les informations pertinentes à la disposition des clients aussi rapidement que possible.

• Autonomous Database

  Oracle Cloud Infrastructure Autonomous Database est un environnement de base de données entièrement géré et préconfiguré que vous pouvez utiliser pour le traitement des transactions et les charges globales d'entreposage de données. Vous n'avez pas besoin de configurer ou de gérer du matériel ni d'installer un logiciel. Oracle Cloud Infrastructure gère la création de la base de données, ainsi que la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.

A propos des services et des rôles requis

Cette solution requiert les services et rôles suivants :

• Oracle Autonomous Data Warehouse

• Analyse de flux Oracle GoldenGate (GGSA)

• Oracle Cloud Infrastructure

Il s'agit des rôles requis pour chaque service.

Nom de service : rôle	Requis pour...
Oracle Autonomous Data Warehouse : admin	Créez les informations d'identification.
Oracle GoldenGate - Analyses de flux : administration	Accédez à la console GGSA.
Oracle Cloud Infrastructure : admin	Installer GGSA à partir de Marketplace. Configurez l'émetteur Kafka pour l'inclusion des données. Connectez GGSA pour Kafka à Autonomous Database.

Reportez-vous à Apprenez à obtenir les services Oracle Cloud pour les solutions Oracle pour obtenir les services cloud dont vous avez besoin.