1. Connettere i dati del flusso Kafka ad Autonomous Database
  2. Scopri di più sulla connessione dei flussi di dati in tempo reale a Oracle Autonomous Database

Scopri di più sulla connessione dei flussi di dati in tempo reale a Oracle Autonomous Database

Streaming dei dati in tempo reale sulla piattaforma del data warehouse per l'elaborazione e la generazione di report approfonditi può essere un compito impegnativo.

Quando si utilizza JSON per lo streaming dei formati di dati, la conversione dei dati può essere un problema. In questa soluzione imparerai a utilizzare le risorse di Oracle Cloud Infrastructure come Oracle GoldenGate Stream Analytics per eseguire lo streaming dei dati Kafka in Oracle Autonomous Database.

Operazioni preliminari

Prima di iniziare, completare l'installazione riportata di seguito da Oracle Live Labs.

Architettura

Questa architettura mostra Kafka Streams on-premise, Oracle Stream Analytics e Oracle Autonomous Database in un'area OCI.

Utilizzare questa architettura per includere dati da un flusso Kafka in locale in Oracle GoldenGate Stream Analytics (GGSA).

Segue la descrizione di kafka-stream-adb-goldengate-arch.png
Descrizione dell'immagine kafka-stream-adb-goldengate-arch.png

kafka-stream-adb-goldengate-arch.zip

  1. L'area OCI contenente GGSA acquisisce dati dai flussi Kafka in locale.
  2. GGSA esegue lo streaming e la conversione dei dati JSON in dati relazionali.
  3. GGSA memorizza i dati in una tabella relazionale in Autonomous Database.

Questa architettura supporta i seguenti componenti:

  • Flussi Kafka

    Kafka Streams è una libreria client per la creazione di applicazioni e microservizi, in cui i dati di input e output sono memorizzati nei cluster Kafka. Combina la semplicità di scrittura e distribuzione di applicazioni standard Java e Scala sul lato client con i vantaggi della tecnologia cluster lato server di Kafka.

    Kafka Streams semplifica notevolmente l'elaborazione dei flussi dai topic. Integrato a monte delle librerie client Kafka, offre parallelismo dei dati, coordinamento distribuito, tolleranza agli errori e scalabilità. Kafka Streams utilizza i concetti di partizioni e task come unità logiche fortemente collegate alle partizioni dell'argomento. Inoltre, utilizza i thread per il processo parallelo all'interno di un'istanza dell'applicazione. Un'altra importante funzionalità supportata è le aree di memorizzazione dello stato, utilizzate da Kafka Streams per memorizzare e eseguire query sui dati provenienti dai topic.

    Oracle GoldenGate per l'handler Kafka esegue la modifica dei dati di acquisizione da un trail di Oracle GoldenGate a un argomento Kafka.

  • Oracle GoldenGate

    Oracle Cloud Infrastructure GoldenGate è un servizio completamente gestito che consente l'inclusione dei dati da origini residenti on premise o in qualsiasi cloud, utilizzando la tecnologia CDC GoldenGate per un'acquisizione dei dati e la distribuzione non intrusiva ed efficiente a Oracle Autonomous Data Warehouse in tempo reale e su larga scala al fine di rendere le informazioni pertinenti disponibili ai consumatori il più rapidamente possibile.

  • Autonomous Database

    Oracle Cloud Infrastructure Autonomous Database è un ambiente di database completamente gestito e preconfigurato che è possibile utilizzare per l'elaborazione delle transazioni e i carichi di lavoro di data warehousing. Non è necessario configurare o gestire alcun componente hardware né installare programmi software. Oracle Cloud Infrastructure gestisce la creazione del database, nonché il backup, l'applicazione di patch, l'aggiornamento e l'ottimizzazione del database.

Informazioni sui servizi e i ruoli necessari

Questa soluzione richiede i servizi e i ruoli riportati di seguito.

  • Oracle Autonomous Data Warehouse

  • Oracle GoldenGate - Analisi dei flussi (GGSA)

  • Infrastruttura Oracle Cloud

Questi sono i ruoli necessari per ogni servizio.

Nome servizio: ruolo Richiesto per...
Oracle Autonomous Data Warehouse: amministratore Creare le credenziali.
Analitica streaming Oracle GoldenGate: amministratore Accedere alla console GGSA.
Oracle Cloud Infrastructure: amministratore
  1. Installare GGSA da Marketplace.
  2. Configura il producer Kafka per l'inclusione dei dati.
  3. Connettere GGSA per Kafka ad Autonomous Database.

Guarda Scopri come ottenere i servizi Oracle Cloud per le soluzioni Oracle e usufruire dei servizi cloud di cui hai bisogno.