Oracle Cloud Infrastructure-Dokumentation

Cluster erstellen - Erste Schritte

Erste Schritte mit OCI Streaming mit Apache Kafka, indem Sie ein Kafka-Cluster in einem OCI-Mandanten erstellen.

Bevor Sie beginnen

Stellen Sie sicher, dass Sie die folgenden OCI-Ressourcen im Mandanten erstellen, in dem Sie das Kafka-Cluster erstellen möchten:

  • Virtuelles Cloud-Netzwerk (VCN) im Mandanten erstellen.
  • Erstellen Sie ein Subnetz im VCN.
  • Bearbeiten Sie das Subnetz, um Traffic (source port range = All) zu einem der folgenden Ports zuzulassen:
    • Bei der SASL_SCRAM-Authentifizierung lassen Sie TCP-Traffic zu Port 9092 zu.
    • Bei der mTLS-basierten Authentifizierung ist der Datenverkehr auf Port 9093 zulässig.

Erforderliche IAM-Policys

Erstellen Sie eine Policy mit diesen Anweisungen im Compartment, in dem Sie das Kafka-Cluster erstellen.

allow group <kafka_admins> to {KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ, KAFKA_CLUSTER_CREATE, KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ, KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE, KAFKA_CLUSTER_CONFIG_UPDATE, KAFKA_CLUSTER_CONFIG_DELETE } in compartment <compartment> | tenancy

allow service rawfka to use vnics in compartment <compartment>

allow service rawfka to {SUBNET_READ} in compartment <compartment> 

allow service rawfka to use network-security-groups in compartment <compartment>

allow service rawfka to use subnets in compartment <compartment>

# If you're using SASL_SCRAM authentication - 

allow service rawfka to use secrets in compartment id <compartment> where request.operation = 'UpdateSecret'

Cluster erstellen

Sie müssen die erforderlichen Ressourcen erstellen, bevor Sie das Kafka-Cluster erstellen.

  • Öffnen Sie das Navigationsmenü , und wählen Sie Entwicklerservices aus. Wählen Sie unter Anwendungsintegration die Option OCI Streaming mit Apache Kafka aus.

    Wählen Sie auf der Seite "Kafka-Cluster" die Option Cluster erstellen.

    1. Clustereinstellungen

    • Clustername: Geben Sie einen eindeutigen Namen für das Cluster an.
    • Compartment: Wählen Sie das Compartment, in dem Sie das Cluster erstellen möchten.
    • Apache Kafka-Version: Wählen Sie die zu verwendende Version von Apache Kafka aus.
    • Tagging: (Optional) Wenn Sie über Berechtigungen zum Erstellen einer Ressource verfügen, sind Sie auch berechtigt: Freiformtags auf diese Ressource anzuwenden. Um ein definiertes Tag anzuwenden, müssen Sie über die Berechtigungen zum Verwenden des Tag-Namespace verfügen. Weitere Informationen zum Tagging finden Sie unter Ressourcentags. Wenn Sie nicht sicher sind, ob Tags angewendet werden sollen, überspringen Sie diese Option, oder fragen Sie einen Administrator. Sie können Tags später anwenden.

    2. Broker-Einstellungen

    • Clustertyp: Wählen Sie das Startercluster oder High Availability-Cluster als Clustertyp aus, den Sie erstellen möchten. Die Mindestanzahl der Broker im Cluster ändert sich je nach ausgewähltem Typ. Ein Starter-Cluster wird für Test oder Entwicklung verwendet und hat 1 Broker als Minimum. Ein High Availability Cluster wird für die Produktion verwendet und hat mindestens 3 Broker.
    • Broker-Setup: Geben Sie die Anzahl der Broker ein, die Sie im Cluster wünschen, und die OCPU, die pro Broker erforderlich ist. Diese Werte werden am besten berechnet, indem Sie die Größe des Clusters entsprechend den Clusteranforderungen anpassen. Der Speicher pro Broker wird basierend auf der angegebenen OCPU-Anzahl pro Broker zugewiesen. Jeder OCPU werden 6 GB zugewiesen. Die Standard-Compute-Ausprägung, die für einen Broker verwendet wird, ist der Arm-basierte Prozessor. Wenn diese Ausprägung nicht in der Region verfügbar sind, wird eine Ausprägung mit AMD- oder Intel-Prozessor verwendet.
    • Speicher: Geben Sie den Block-Volume-Speicher an, der pro Broker erforderlich ist. Planen Sie Clustergröße und -speicher entsprechend den Geschäftsanforderungen, um die Block-Volume-Speichergröße für das Cluster zu berechnen.

    3. Clusterkonfiguration

    Abhängig vom Typ des Clusters, das Sie erstellen, wird eine Standardkonfiguration bereitgestellt. Sie können die Standardkonfiguration verwenden oder eine benutzerdefinierte Konfiguration angeben. Wenn Sie eine benutzerdefinierte Konfiguration verwenden möchten, empfehlen wir, die Clusterkonfigurationsdatei zu erstellen, bevor Sie das Kafka-Cluster erstellen. Nachdem ein Kafka-Cluster erstellt wurde, können Sie die Clusterkonfigurationsdatei weiterhin aktualisieren, jedoch mit bestimmten Einschränkungen.

    4. Sicherheitseinstellungen (optional)

    Stellen Sie das Zertifikat für die gegenseitige TLS-Authentifizierung bereit, um mTLS als Authentifizierungsmechanismus für das Cluster zu verwenden. Sie können das Zertifikat auch angeben, nachdem das Cluster erstellt wurde. Um die SASL/SCRAM-Authentifizierung zu verwenden, können Sie diesen Schritt überspringen.

    5. Networking

    Wählen Sie das VCN und das Subnetz aus, die Sie für das Cluster erstellt haben. Die Cluster-Broker werden in dem angegebenen Subnetz erstellt

    6. Prüfen und Erstellen

    Prüfen Sie alle angegebenen Details, und nehmen Sie gegebenenfalls Aktualisierungen über den Link Bearbeiten vor. Wählen Sie dann Erstellen aus.

  • Verwenden Sie den Befehl oci kafka cluster create und die erforderlichen Parameter, um ein Kafka-Cluster zu erstellen:

    oci kafka cluster create 
--access-subnets '[{"subnets":"<subnet-ocid>"}]' 
--broker-shape '{"nodeCount":<node-count>, "ocpuCount":<ocpu-count>, "storageSizeInGbs":storage-size}'
--cluster-config-id <config-ID> 
--cluster-config-version <config-version> 
--cluster-type <cluster-type> 
--compartment-id <compartment-ocid> | -c <compartment-name> 
--coordination-type <coordination-type> 
--kafka-version <version>
--client-certification-bundle <CA-cert-bundle-for-mTLS>
--display-name <cluster-name>
--freeform-tags <tags-in-json>
--auth <auth-type>
--auth-purpose <auth-purpose>
--cert-bundle <CA-cert-bundle-path-for-ssl>
--config-file <config-file-path>
--connection-timeout <connection-timeout-in-seconds>
--defined-tags <tags-in-json>

    Erforderliche Option

    <Subnetz-OCID>
    Das Set der Subnetz-OCIDs, in dem die VNICs des Kafka-Clusters erstellt werden müssen.

    Sie können die Subnetz-OCIDs direkt in der Eingabeaufforderung im JSON-Format angeben.

    Sie können auch eine JSON-Datei mit den Subnetzinformationen erstellen und die Datei im CLI-Befehl übergeben. Beispiel: Erstellen Sie eine subnets.json-Datei mit den Subnetzdetails, und übergeben Sie die Datei im Befehl als --access-subnets file://subnets.json.
    [
  {
    "subnets": [
      "ocid1.subnet.oc1.<.exampleuniqueID_1>",
      "ocid1.subnet.oc1.<.exampleuniqueID_2>"
    ]
  }
]
    Sie können die Subnetzinformationen auch in einer Umgebungsexportvariable festlegen und dann im CLI-Befehl übergeben. Beispiel: Erstellen Sie die Exportvariable SUBNETS, und übergeben Sie die Variable im Befehl als --access-subnets "$SUBNETS"
    export SUBNETS='[{"subnets":["ocid1.subnet.oc1.<.exampleuniqueID_1>", "ocid1.subnet.oc1.<.exampleuniqueID_2>"]}]'
    <Brokerform>
    Geben Sie im JSON-Format die Anzahl der zu erstellenden Brokerknoten, die Anzahl der OCPUs pro Knoten und die Speichergröße für jeden Knoten an.
    <config-ID>
    OCID der Ressource Kafka-Clusterkonfiguration.
    <config-Version>
    Version der Kafka-Clusterkonfigurationsressource.
    <Cluster-Typ>
    Der zu erstellende Clustertyp. Geben Sie entweder DEVELOPMENT oder PRODUCTION an.
    <compartment-ID> | <compartment-name>
    Die OCID oder der Name des Compartments, in dem das Cluster erstellt werden muss.
    <Koordinationstyp>
    Der Koordinationstyp des Kafka-Brokers. Geben Sie je nach Kafka-Version entweder ZOOKEEPER oder KRAFT an.
    <Version>
    Unterstützte Version zum Erstellen des Kafka-Clusters.

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateKafkaCluster aus, um ein Cluster zu erstellen.

Nächste Schritte

Sie müssen einen der beiden Authentifizierungstypen konfigurieren, um mit einer Kafka-Clientanwendung auf das Kafka-Cluster zuzugreifen.

Wichtig

Ohne einen der beiden Authentifizierungstypen einzurichten, können Sie nicht auf das von Ihnen erstellte Kafka-Cluster zugreifen. Um auf das Kafka-Cluster zuzugreifen und Datenvorgänge auszuführen, müssen Sie einen Kafka-Client einrichten.

Nachdem das Kafka-Cluster erstellt und die Authentifizierung konfiguriert wurde, können Sie einen Kafka-Client einrichten im OCI-Mandanten, die Kafka-Befehle ausführen, um Themen zu erstellen und Daten zu erstellen und zu konsumieren.