Uso y supervisión de flujos de datos

Supervisión del lado GoldenGate

• Confirme que el recurso de flujo de datos está presente y disponible en el servicio de distribución.

• Controle los registros y bytes enviados, los recuentos de operaciones, los recuentos de DDL, la actividad de la tabla y las estadísticas de red cuando se expongan mediante las métricas de la interfaz de usuario o del servicio.

• Revise los logs del servicio de distribución para detectar errores de autenticación, consulta de pista, consulta de posición, generación de esquemas, truncamiento de tamaño y desconexión de WebSocket.

• Supervise la extracción de origen y la generación de pistas de forma independiente. Un WebSocket en buen estado no puede entregar datos que no estén llegando a la pista.

Métricas de consumidor

Métrica	Por qué es importante
Estado de conexión y recuento de reconexiones	Detecta inestabilidad de red, autenticación, proxy y servicio.
Última recepción y última confirmación pos	Separa la llegada de datos del procesamiento duradero correcto. Registre un valor hash o protegido si las posiciones se consideran confidenciales.
Registros y bytes por tipo/tabla	Identifica el volumen inesperado, los errores de filtrado y el sesgo.
Latencia de procesamiento	Tiempo desde op_ts hasta la confirmación descendente duradera. Tenga en cuenta las diferencias de reloj de origen y de consumidor.
Profundidad de cola interna y antigüedad de cola más antigua	Detecta la contrapresión antes del agotamiento de la memoria.
Cambios de versión de esquema/metadatos	Detecta cambios de DDL y de contrato.
Recuentos de conflictos de duplicación e idempotencia	Valida el comportamiento de entrega y punto de control.
Fallos de caducidad y validación	Muestra los registros que requieren una solución manual o automatizada.

Planificación de buffer y capacidad

bufferSize controla el umbral de bytes en el que el servicio vacía su cola de mensajes en memoria al cliente. Un valor mayor puede mejorar la eficiencia de los lotes, pero puede aumentar el uso y la latencia de la memoria por mensaje. Un valor menor puede reducir la latencia, pero aumentar la sobrecarga de mensajes. No es una cola duradera, no sustituye la retención de pistas y no elimina la necesidad de controles de contrapresión del consumidor.

• Pruebe con tamaños de transacción representativos, LOB, DDL, recuento de tablas y rendimiento máximo.

• Defina WebSocket y el tamaño máximo de los mensajes de proxy por encima del lote más grande esperado.

• Utilice colas limitadas y falle rápidamente en lugar de permitir el crecimiento ilimitado de la memoria.

• Las confirmaciones separadas de recepción, validación, E/S descendente y punto de control de la red para poder medir cada etapa.

Volver a conectar estrategia

• Vuelva a conectarse desde el último punto de control duradero, no desde el último solo registro recibido.

• Utilice el retroceso exponencial con un retraso máximo y jitter.

• Restablezca el retraso después de una conexión estable.

• Clasifique los fallos no reintentables, como las credenciales no válidas o una posición guardada no disponible, y genere una alerta de operador en lugar de volver a intentarlo para siempre.

• Conservar el mismo contrato de salida durante la recuperación. Si la configuración del flujo cambió, complete la validación de compatibilidad antes de reanudarla.

Varios Consumidores

Data Streams no proporciona un grupo de consumidores de estilo Kafka ni un desplazamiento por consumidor gestionado por servidor. Cada cliente independiente debe mantener su propio punto de control y recibe registros según su conexión y el valor begin. No comparta un punto de control entre consumidores activos simultáneamente a menos que un coordinador externo garantice la propiedad única y las actualizaciones de puntos de control ordenadas.

Gestión de cambios

• Versión de la configuración de Data Stream y generación de AsyncAPI YAML con la versión de consumidor.

• Probar creación, conexión, procesamiento en estado continuo, desconexión, reinicio, fallo de posición retenida, DDL, registros grandes y rotación de credenciales.

• Despliegue código de consumidor compatible antes de activar nuevos campos de carga útil o cambios de esquema.

• Mantenga un plan de rollback que conserve la última configuración y el último punto de control correcto.