Flujos de datos

Oracle GoldenGate Data Streams proporciona un punto final WebSocket que publica continuamente registros de cambios confirmados desde una pista de Oracle GoldenGate. Un cliente crea o utiliza un recurso de flujo de datos con nombre, se conecta al punto final generado, recibe registros JSON, procesa cada registro y guarda la última posición procesada correctamente para la recuperación.

Data Streams utiliza un documento AsyncAPI 3.0 para describir los esquemas de punto final, canal, consulta, unidad de mensaje y registro. El YAML AsyncAPI generado para el flujo específico es el contrato autorizado para ese flujo. Utilícelo en lugar de copiar un nombre de host, una ruta de canal o una definición de carga útil genéricos de otro despliegue.

Beneficios para desarrolladores y científicos de datos

• Ingesta de datos mejorada: el modelo de publicación o suscripción con tecnología de AsyncAPI permite a las aplicaciones recibir actualizaciones de datos en tiempo real de forma eficaz.

• Formato de datos flexible: puede seleccionar un formato preferido para una integración perfecta con las herramientas existentes.

• Integración optimizada: AsyncAPI fomenta una interacción fluida con varias aplicaciones y herramientas que suelen utilizar desarrolladores y científicos de datos.

• Integridad de datos garantizada: al heredar la solidez principal de Oracle GoldenGate, los flujos de datos garantizan la durabilidad de los datos replicando los cambios a medida que se confirman en la base de datos de origen.

Nota: La funcionalidad de flujos de datos tiene licencia con Oracle GoldenGate for Distributed Applications and Analytics o con destinos de Oracle GoldenGate for Big Data. Consulte Oracle GoldenGate for Distributed Applications and Analytics en la Guía de licencias de Oracle GoldenGate para obtener más información.

Secuencia de tiempo de ejecución

1. Extract captura los cambios de origen confirmados y los escribe en una pista de Oracle GoldenGate local o remota.

2. Un administrador crea un recurso de flujo de datos que identifica la pista de origen y la configuración opcional de filtrado y salida de JSON.

3. El servicio genera un documento YAML AsyncAPI para el flujo de datos.

4. Un cliente establece una conexión WebSocket y proporciona un registro de hora begin=now, begin=earliest, ISO 8601 o un valor pos guardado.

5. El servicio envía mensajes JSON continuamente. El protocolo no espera una confirmación por registro del cliente.

6. El cliente procesa los registros y guarda de forma duradera pos desde el último registro DML o DDL procesado correctamente.

Lo que el servicio envía

• Registros de esquema JSON que describen los registros del flujo.

• Registro de metadatos de flujo que identifica la información de pista del productor, la base de datos de origen, el host y el origen.

• Registros de metadatos de objetos que describen columnas de tabla, tipos primitivos JSON, nulidad y pertenencia a claves.

• Registros DML para INSERT, UPDATE y DELETE.

• Registros DDL que identifican el objeto afectado y contienen la sentencia DDL.

• Sobres JSON CloudEvents opcionales cuyo miembro data contiene el registro GoldenGate.