Konzepte in Streaming mit Apache Kafka

In OCI Streaming mit Apache Kafka können Sie zwei Clustertypen erstellen.

Startercluster

Entwickelt für Test- und Entwicklungszwecke, bei denen Hochverfügbarkeit keine wichtige Anforderung ist. Ein Starter-Cluster bietet ein flexibles Setup, bei dem die Cluster zwischen 1 und 30 Brokern haben können.

High-Availability-Cluster

Für Produktionsumgebungen vorgesehen, in denen High Availability unerlässlich ist. Diese Cluster sind mit mindestens 3 Brokern konfiguriert, die über mehrere Verfügbarkeits- oder Faultdomains verteilt sind, um Redundanz und Fehlertoleranz sicherzustellen. Das Cluster kann auf maximal 30 Broker skaliert werden und bietet Zuverlässigkeit und Resilienz für geschäftskritische Workloads.

Prüfen Sie die folgenden Standardoptionen für ein Kafka-Cluster.

Konnektivität

Standardmäßig werden alle Kafka-Cluster mit privater Konnektivität erstellt und können innerhalb des VCN und Subnetzes aufgerufen werden, das während der Clustererstellung angegeben wurde. Wenn mehr VCNs Zugriff auf das Kafka-Cluster benötigen, konfigurieren Sie VCN-Peering.

Broker-Festplattenquoten

Standardmäßig werden Broker-Festplattenkontingente durchgesetzt, um Stabilität zu gewährleisten und eine Überbeanspruchung der Datenträgerressourcen zu verhindern. Wenn eine Broker-Festplatte eine Kapazität von 97% erreicht, sind Producer-Vorgänge ratenbegrenzt, während Consumer-Vorgänge nicht betroffen sind und weiterhin wie erwartet funktionieren. Wenn eine Broker-Festplatte eine Kapazität von 98% erreicht, werden alle Producer-Vorgänge blockiert, während Consumer-Vorgänge weiterhin Ereignisse konsumieren und Offsets ohne Unterbrechung festschreiben können. Sie können dieses Standardverhalten ändern und benutzerdefinierte Speicherkontingente definieren in einer Clusterkonfigurationsdatei.

Cluster-Konfigurationsdatei

Wenn Sie ein Kafka-Cluster erstellen, wird die Clusterkonfigurationsdatei je nach Clustertyp mit Standardeigenschaften erstellt. Die Eigenschafteneinstellungen wurden entwickelt, um Zuverlässigkeit, Haltbarkeit und Benutzerfreundlichkeit in Einklang zu bringen. Sie können die Standarddatei verwenden oder eine benutzerdefinierte Datei erstellen. Eine Liste der konfigurierbaren und nicht konfigurierbaren Eigenschaften finden Sie unter Clusterkonfigurationen verwalten.

High Availability-Cluster

allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
leader.imbalance.per.broker.percentage=1
default.replication.factor=3
offsets.topic.replication.factor=3
min.insync.replicas=2
transaction.state.log.min.isr=2
transaction.state.log.replication.factor=3

Eigenschaft	Standardwert	Zweck
allow.everyone.if.no.acl.found	wahr	Wenn keine ACL für eine Ressource gefunden wird, können alle Benutzer auf das Cluster zugreifen.
auto.create.topics.enable	falsch	Themen werden nicht automatisch erstellt. Sie müssen explizit für eine bessere Kontrolle erstellt werden.
leader.imbalance.per.broker.percentage	1	Steuert den Schwellenwert für das Ungleichgewicht von Führungskräften pro Broker für das Rebalancing.
default.replication.factor	3	Neue Themen werden mit 3 Replikaten für hohe Haltbarkeit erstellt.
offsets.topic.replication.factor	3	Das interne Offsets-Thema wird 3-mal für Resilienz repliziert.
min.insync.replicas	2	Mindestens 2 Replikate müssen einen Schreibvorgang für die Dauerhaftigkeit bestätigen.
transaction.state.log.min.isr	2	Minimale synchronisierte Replikationen für das Transaktionsstatuslog.
transaction.state.log.replication.factor	3	Replikationsfaktor für das Transaktionsstatuslog.

Startercluster

allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
leader.imbalance.per.broker.percentage=1
default.replication.factor=1
offsets.topic.replication.factor=1
min.insync.replicas=1
transaction.state.log.min.isr=1
transaction.state.log.replication.factor=1

Eigenschaft	Standardwert	Zweck
allow.everyone.if.no.acl.found	wahr	Wenn keine ACL für eine Ressource gefunden wird, können alle Benutzer auf das Cluster zugreifen.
auto.create.topics.enable	falsch	Themen werden nicht automatisch erstellt. Sie müssen explizit für eine bessere Kontrolle erstellt werden.
leader.imbalance.per.broker.percentage	1	Steuert den Schwellenwert für das Ungleichgewicht von Führungskräften pro Broker für das Rebalancing.
default.replication.factor	1	Neue Themen werden mit 1 Replikat (keine Redundanz) erstellt.
offsets.topic.replication.factor	1	Das interne Offsets-Thema hat ein einzelnes Replikat.
min.insync.replicas	1	Nur 1 Replikat muss einen Schreibvorgang bestätigen.
transaction.state.log.min.isr	1	Minimale synchronisierte Replikationen für das Transaktionsstatuslog.
transaction.state.log.replication.factor	1	Replikationsfaktor für das Transaktionsstatuslog.

Lesen Sie die Richtlinien zur Clustergröße für die Optimierung und das Beste aus einem OCI Streaming mit Apache Kafka-Cluster.

Sie können Daten aus einem selbstverwalteten Apache Kafka-Cluster in ein OCI Streaming mit Apache Kafka-Cluster migrieren.

Die empfohlene Lösung für diesen Migrationsanwendungsfall ist das Erstellen eines MirrorMaker 2.0-Connectors in einem Connect-Cluster.

security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
ssl.truststore.location=</path/to/truststore.jks>
ssl.truststore.password=<truststore-password>
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<username>" password="<password>";