Transmisión con métricas de Apache Kafka

Con las métricas, puede supervisar los clusters y puntos finales de Kafka en OCI Streaming con Apache Kafka.

Utilice el servicio OCI Monitoring para crear consultas y alarmas personalizadas que le notifiquen cuando estas métricas cumplan los disparadores especificados por la alarma.

Le recomendamos que supervise las métricas del cliente mediante sus propios paneles de control personalizados.

Métricas disponibles

Un espacio de nombres es un contenedor para métricas. El espacio de nombres para OCI Streaming con Apache Kafka es oci_kafka.

Utilice las siguientes métricas de Streaming con Apache Kafka con las tres dimensiones siguientes:

  • brokerId: ID del broker de clusters de Kafka.
  • resourceId: OCID del cluster de Kafka.
  • resourceName: nombre del cluster de Kafka.
Métrica Unidad Descripción
BrokerActiveControllerCount Recuento Número de controladores activos para cada broker. Siempre debe ser 1.
BrokerAvailableDiskSpace Porcentaje Porcentaje de espacio en disco disponible en cada broker.
BrokerBytesInTotal Bytes Número Total de Bytes en un Broker
BrokerBytesOutTotal Bytes Número total de bytes de salida para un broker
BrokerConnectionCountPerListener Recuento Número total de conexiones activas a un agente de Kafka, desglosadas por listener (como PLAINTEXT y SSL).
BrokerCPUUsage Porcentaje Total de uso de CPU para cada broker.
BrokerFailedFetchRequests Recuento Recuento acumulado de solicitudes de recuperación que el broker ha devuelto con un error, lo que indica fallos de lectura visibles para el cliente.
BrokerFailedProduceRequests Recuento Realiza un seguimiento del número total de solicitudes de producción (escritura) con fallos recibidas por el broker de Kafka.
BrokerMemoryUsed Porcentaje Total de uso de memoria de pila + no pila para cada broker.
BrokerNetworkProcessorAvgIdlePercentage Porcentaje Porcentaje medio de inactividad de los threads de E/S de red de Kafka (también conocidos como procesadores de red) a lo largo del tiempo.
BrokerOfflinePartitionsCount Recuento Número de particiones asignadas a un broker que están actualmente fuera de línea.
BrokerOpenFileDescriptors Recuento Total de descriptores de archivo que están abiertos en un broker.
BrokerRequestHandlerAvgIdlePercentage Porcentaje Mide el porcentaje medio de tiempo que los threads del manejador de solicitudes de Kafka están inactivos, lo que indica la capacidad de procesamiento disponible.
BrokerTotalFetchRequests Recuento Recuento acumulado de cada solicitud de recuperación que el broker ha procesado, lo que refleja el volumen general de tráfico de lectura.
BrokerTotalIncomingMessages Recuento Cuenta el número total de mensajes recibidos por el agente de Kafka en todos los temas y particiones.
BrokerTotalProduceRequests Recuento Realiza el seguimiento del número total de solicitudes de producción (escritura) recibidas por el broker de Kafka.
BrokerUnderReplicatedPartitions Recuento Muestra el número de particiones que se están replicando en un broker.

Recomendaciones

Consulte las recomendaciones de las métricas disponibles para garantizar un funcionamiento correcto de los clusters de Kafka.

Debe crear alarmas para supervisar los valores de estas métricas.

Métrica Recomendación de umbral de alerta
BrokerCPUUsage

> 80% over 5 minutes

BrokerAvailableDiskSpace

< 20 GB

BrokerMemoryUsed

> 80%

BrokerActiveControllerCount

1

BrokerUnderReplicatedPartitions

> 0

BrokerOfflinePartitionsCount

> 0