1. Conecte los datos del flujo de Kafka a Autonomous Database
  2. Más información sobre la conexión de flujos de datos en tiempo real a Oracle Autonomous Database

Más información sobre la conexión de flujos de datos en tiempo real a Oracle Autonomous Database

Transmitir datos en tiempo real a su plataforma de almacén de datos para procesar y generar informes detallados puede ser una tarea difícil.

Cuando se utiliza JSON para formatos de datos de flujo, la conversión de datos puede ser un desafío. En esta solución, aprenderá a utilizar recursos de Oracle Cloud Infrastructure como Oracle GoldenGate Stream Analytics para transmitir datos de Kafka a Oracle Autonomous Database.

Antes de empezar

Antes de comenzar, complete la siguiente instalación desde Oracle Live Labs:

Arquitectura

Esta arquitectura muestra flujos de Kafka locales, Oracle Stream Analytics y Oracle Autonomous Database en una región de OCI.

Utilice esta arquitectura para ingerir datos de un flujo de Kafka local en Oracle GoldenGate Stream Analytics (GGSA).

A continuación se muestra la descripción de kafka-stream-adb-goldengate-arch.png
Descripción de la ilustración kafka-stream-adb-goldengate-arch.png

kafka-stream-adb-goldengate-arch.zip

  1. La región OCI que contiene GGSA ingiere datos de los flujos de Kafka locales.
  2. GGSA transmite y convierte los datos JSON en datos relacionales.
  3. GGSA almacena los datos en una tabla relacional en Autonomous Database.

Esta arquitectura admite los siguientes componentes:

  • Flujos de Kafka

    Kafka Streams es una biblioteca de clientes para crear aplicaciones y microservicios, donde los datos de entrada y salida se almacenan en clusters de Kafka. Combina la simplicidad de la escritura y el despliegue de aplicaciones Java y Scala estándar en el cliente con las ventajas de la tecnología de cluster de servidor de Kafka.

    Kafka Streams simplifica en gran medida el procesamiento de flujos de temas. Basado en las bibliotecas de clientes de Kafka, proporciona paralelismo de datos, coordinación distribuida, tolerancia a fallos y escalabilidad. Los flujos de Kafka utilizan los conceptos de particiones y tareas como unidades lógicas fuertemente vinculadas a las particiones de temas. Además, utiliza threads para el proceso en paralelo dentro de una instancia de aplicación. Otra importante capacidad soportada son las tiendas estatales, utilizadas por Kafka Streams para almacenar y consultar datos procedentes de los temas.

    Los flujos de Oracle GoldenGate para el manejador de Kafka cambian los datos de captura de una pista de Oracle GoldenGate a un tema de Kafka.

  • Oracle GoldenGate

    Oracle Cloud Infrastructure GoldenGate es un servicio totalmente gestionado que permite la ingestión de datos desde orígenes que residen on-premises o en cualquier nube, aprovechando la tecnología CDC GoldenGate para una captura de datos y entrega a Oracle Autonomous Data Warehouse no intrusiva y eficiente en tiempo real y a escala con el fin de que la información relevante esté disponible para los consumidores lo antes posible.

  • Autonomous Database

    Oracle Cloud Infrastructure Autonomous Database es un entorno de base de datos totalmente gestionado y preconfigurado que puede utilizar para cargas de trabajo de procesamiento de transacciones y almacenamiento de datos. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure gestiona la creación de la base de datos, así como la copia de seguridad, la aplicación de parches, la actualización y el ajuste de la base de datos.

Acerca de los servicios y los roles necesarios

Esta solución requiere los siguientes servicios y roles:

  • Oracle Autonomous Data Warehouse

  • Análisis de flujo (GGSA) de Oracle GoldenGate

  • Oracle Cloud Infrastructure

Estos son los roles necesarios para cada servicio.

Nombre de servicio: rol Necesario para...
Oracle Autonomous Data Warehouse: administración Cree las credenciales.
Análisis de flujo de Oracle GoldenGate: administración Acceda a la consola de GGSA.
Oracle Cloud Infrastructure: administración
  1. Instale GGSA desde Marketplace.
  2. Configure el productor de Kafka para que ingiera datos.
  3. Conecte GGSA para Kafka a Autonomous Database.

Consulte Más información sobre cómo obtener servicios de Oracle Cloud para las soluciones de Oracle para obtener los servicios en la nube que necesita.