Documentazione dell'infrastruttura Oracle Cloud

Introduzione alla creazione di un cluster

Inizia a utilizzare OCI Streaming con Apache Kafka creando un cluster Kafka in una tenancy OCI.

Prima di iniziare

Assicurarsi di creare le risorse OCI riportate di seguito nella tenancy in cui si desidera creare il cluster Kafka.

  • Creare una rete cloud virtuale (VCN) nella tenancy.
  • Creare una subnet nella VCN.
  • Modificare la subnet per consentire il traffico (source port range = All) a una delle porte seguenti:
    • Per il meccanismo di autenticazione SASL_SCRAM, consentire il traffico TCP alla porta 9092.
    • Per il meccanismo di autenticazione basato su mTLS, consentire il traffico fino alla porta 9093.

Criteri IAM necessari

Creare le istruzioni dei criteri riportate di seguito nel compartimento in cui si crea il cluster Kafka.

allow group <kafka_admin_group_name> to 
{KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ,KAFKA_CLUSTER_CREATE, 
KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ, 
KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE, KAFKA_CLUSTER_CONFIG_UPDATE, 
KAFKA_CLUSTER_CONFIG_DELETE } in compartment <compartment-name> | tenancy
allow service rawfka to use vnics in compartment <compartment-name>
                
allow service rawfka to {SUBNET_READ} in compartment <compartment-name>
                
allow service rawfka to use network-security-groups 
in compartment <compartment>
                
allow service rawfka to use subnets in compartment <compartment-name>

Se si utilizza l'autenticazione SASL_SCRAM, aggiungere i criteri riportati di seguito.

allow service rawfka to read secrets in compartment <compartment-name>

Il criterio precedente consente al servizio OCI Streaming con Apache Kafka di leggere i metadati del segreto (non il segreto stesso) necessari per l'autenticazione SASL_SCRAM.

allow service rawfka to use secrets in compartment <compartment-name>
 where request.operation = 'UpdateSecret'

Creazione di un cluster

È necessario creare le risorse dei prerequisiti prima di creare il cluster Kafka.

  • Apri il menu di navigazione e seleziona Servizi per sviluppatori. In Application Integration selezionare OCI Streaming con Apache Kafka.

    Nella pagina Cluster Kafka selezionare Crea cluster.

    1. Impostazioni cluster

    • Nome cluster: immettere un nome univoco per il cluster.
    • Compartimento: selezionare il compartimento in cui si desidera creare il cluster.
    • Versione di Apache Kafka: selezionare la versione di Apache Kafka da utilizzare.
    • Applicazione di tag: (facoltativo) se si dispone delle autorizzazioni per creare una risorsa, si dispone anche delle autorizzazioni per applicare tag in formato libero a tale risorsa. Per applicare una tag defined, è necessario disporre delle autorizzazioni per utilizzare la tag namespace. Per ulteriori informazioni sull'applicazione di tag, vedere Tag risorsa. Se non sei sicuro di applicare i tag, salta questa opzione o chiedi a un amministratore. È possibile applicare le tag in un secondo momento.

    2. Impostazioni broker

    • Tipo di cluster: selezionare il cluster di avvio o il cluster di alta disponibilità come tipo di cluster che si desidera creare. Il numero minimo di broker nel cluster cambia a seconda del tipo selezionato. Un cluster iniziale viene utilizzato per il test o lo sviluppo e ha 1 broker come minimo. Un cluster ad alta disponibilità viene utilizzato per la produzione e ha come minimo 3 broker.
    • Impostazione broker: immettere il numero di broker desiderati nel cluster e l'OCPU richiesta per ogni broker. Questi valori vengono calcolati in modo ottimale dimensionando il cluster in base ai requisiti del cluster. La memoria per broker viene allocata in base al numero di OCPU per broker specificato. A ogni OCPU sono allocati 6 GB. La forma di computazione predefinita utilizzata per un broker è il processore basato su Arm. Se questa forma non è disponibile nell'area, viene utilizzata una forma con processore AMD o Intel.
    • Memorizzazione: specificare lo storage del volume a blocchi richiesto per ogni broker. Pianificare la dimensione e lo storage del cluster in base ai requisiti aziendali per calcolare la dimensione dello storage del volume a blocchi per il cluster.

    3. Configurazione dei cluster

    Viene fornita una configurazione predefinita a seconda del tipo di cluster che si sta creando. È possibile utilizzare la configurazione predefinita o fornire una configurazione personalizzata. Se si sceglie di utilizzare una configurazione personalizzata, si consiglia di creare il file di configurazione del cluster prima di creare il cluster Kafka. Dopo aver creato un cluster Kafka, è comunque possibile aggiornare il file di configurazione del cluster, ma con determinate limitazioni.

    4. Impostazioni di sicurezza (facoltativo)

    Fornire il certificato per l'autenticazione TLS reciproca in modo da utilizzare mTLS come meccanismo di autenticazione per il cluster. È inoltre possibile fornire il certificato dopo la creazione del cluster. Per utilizzare l'autenticazione SASL/SCRAM, è possibile saltare questo passaggio.

    5. Networking

    Selezionare la VCN e la subnet create per il cluster. I broker cluster vengono creati nella subnet specificata

    6. Rivedi e creare

    Rivedere tutti i dettagli forniti e apportare gli eventuali aggiornamenti utilizzando il collegamento Modifica. Selezionare quindi Crea.

  • Utilizzare il comando oci kafka cluster create e i parametri richiesti per creare un cluster Kafka:

    oci kafka cluster create 
--access-subnets '[{"subnets":"<subnet-ocid>"}]' 
--broker-shape '{"nodeCount":<node-count>, "ocpuCount":<ocpu-count>, "storageSizeInGbs":storage-size}'
--cluster-config-id <config-ID> 
--cluster-config-version <config-version> 
--cluster-type <cluster-type> 
--compartment-id <compartment-ocid> | -c <compartment-name> 
--coordination-type <coordination-type> 
--kafka-version <version>
--client-certification-bundle <CA-cert-bundle-for-mTLS>
--display-name <cluster-name>
--freeform-tags <tags-in-json>
--auth <auth-type>
--auth-purpose <auth-purpose>
--cert-bundle <CA-cert-bundle-path-for-ssl>
--config-file <config-file-path>
--connection-timeout <connection-timeout-in-seconds>
--defined-tags <tags-in-json>

    Opzioni obbligatorie

    <OCID subnet>
    Set di OCID subnet in cui deve essere creata la VNIC del cluster Kafka.

    È possibile specificare gli OCID della subnet direttamente nel prompt dei comandi in formato JSON.

    In alternativa, è possibile creare un file JSON con le informazioni della subnet e passare il file nel comando CLI. Ad esempio, creare un file subnets.json con i dettagli della sottorete e passare il file nel comando come --access-subnets file://subnets.json.
    [
  {
    "subnets": [
      "ocid1.subnet.oc1.<.exampleuniqueID_1>",
      "ocid1.subnet.oc1.<.exampleuniqueID_2>"
    ]
  }
]
    In alternativa, è possibile impostare le informazioni sulla subnet in una variabile di esportazione dell'ambiente, quindi passarle nel comando CLI. Ad esempio, creare la variabile di esportazione SUBNETS e passare la variabile nel comando come --access-subnets "$SUBNETS" 
    export SUBNETS='[{"subnets":["ocid1.subnet.oc1.<.exampleuniqueID_1>", "ocid1.subnet.oc1.<.exampleuniqueID_2>"]}]'
    <forma broker>
    In formato JSON, specificare il numero di nodi broker da creare, il numero di OCPU per nodo e la dimensione di storage per ogni nodo.
    <ID-config>
    OCID della risorsa configurazione cluster Kafka.
    <config-version>
    Versione della risorsa di configurazione del cluster Kafka.
    <tipo_cluster>
    Il tipo di cluster da creare. Specificare DEVELOPMENT o PRODUCTION.
    <compartment-ID> | <compartment-name>
    OCID o nome del compartimento in cui deve essere creato il cluster.
    <tipo di coordinamento>
    Tipo di coordinamento broker Kafka. A seconda della versione di Kafka, specificare ZOOKEEPER o KRAFT.
    <versione>
    Versione supportata da utilizzare per la creazione del cluster Kafka.

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

  • Eseguire l'operazione CreateKafkaCluster per creare un cluster.

Passi successivi

È necessario configurare uno dei due tipi di autenticazione per accedere al cluster Kafka utilizzando un'applicazione client Kafka.

Importante

Senza impostare uno dei due tipi di autenticazione, non è possibile accedere al cluster Kafka creato. Per accedere al cluster Kafka ed eseguire operazioni sui dati, è necessario impostare un client Kafka.

Dopo aver creato e configurato il cluster Kafka, è possibile impostare un client Kafka nella tenancy OCI ed eseguire i comandi Kafka per creare argomenti, produrre e utilizzare i dati.