Création d'un client Kafka

Pour voir la configuration d'un sujet, exécutez l'outil kafka-configs.sh en spécifiant le nom du sujet pour lequel vous voulez voir la configuration.

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
                        --describe
                    

Pour voir les informations sur la partition et la réplication pour toutes les rubriques, exécutez l'outil kafka-configs.sh.

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
                        --describe | grep Factor | sort 
                    

Pour modifier la configuration d'un sujet, comme la conservation et le segment, exécutez l'outil kafka-configs.sh en spécifiant le nom du sujet pour lequel vous voulez modifier la configuration.

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
                        --alter
--add-config retention.ms=1, segment.ms=60000
                    

Pour supprimer une configuration de sujet, telle que la conservation et le segment, exécutez l'outil kafka-configs.sh en spécifiant le nom du sujet pour lequel vous voulez supprimer la configuration.

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
                        --alter
--delete-config retention.ms,segment.ms
                    

Pour voir l'utilisation du disque pour chaque partition, exécutez l'outil kafka-log-dirs.sh et spécifiez le chemin d'accès au fichier journal de sortie.

bin/kafka-log-dirs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
                        --describe | tail -1 > /tmp/logdirs.output.txt
                        
                    

Exécutez ensuite la commande suivante pour filtrer le fichier journal et afficher son contenu. Ajustez brokers[0] pour cibler un courtier spécifique.

cat /tmp/logdirs.output.txt
  | jq -r '.brokers[0] | .logDirs[0].partitions[] | .partition + " " + (.size|tostring)' 
  | sort 
  | awk 'BEGIN {sum=0} {sum+=$2} END {print sum}'

Pour activer le journal de suivi pour un courtier, créez un fichier log4j.properties avec les propriétés suivantes.

log4j.rootLogger=TRACE, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

Ensuite, exécutez la commande suivante.

export KAFKA_OPTS="-Dlog4j.configuration=file:/path/to/log4j.properties"