Documentación de Oracle Cloud Infrastructure

Introducción a la creación de un cluster

Comienza a usar OCI Streaming con Apache Kafka creando un cluster de Kafka en un arrendamiento de OCI.

Antes de empezar

Asegúrese de crear los siguientes recursos de OCI en el arrendamiento en el que desea crear el cluster de Kafka:

  • Cree una red virtual en la Nube (VCN) en el arrendamiento.
  • Cree una subred en la VCN.
  • Edite la subred para permitir el tráfico (source port range = All) a uno de los siguientes puertos:
    • Para el mecanismo de autenticación SASL_SCRAM, permita que el tráfico TCP llegue al puerto 9092.
    • Para el mecanismo de autenticación basado en mTLS, permita el tráfico al puerto 9093.

Políticas de IAM necesarias

Cree las siguientes sentencias de política en el compartimento en el que crea el cluster de Kafka.

allow group <kafka_admin_group_name> to 
{KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ,KAFKA_CLUSTER_CREATE, 
KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ, 
KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE, KAFKA_CLUSTER_CONFIG_UPDATE, 
KAFKA_CLUSTER_CONFIG_DELETE } in compartment <compartment-name> | tenancy
allow service rawfka to use vnics in compartment <compartment-name>
                
allow service rawfka to {SUBNET_READ} in compartment <compartment-name>
                
allow service rawfka to use network-security-groups 
in compartment <compartment>
                
allow service rawfka to use subnets in compartment <compartment-name>

Si utiliza la autenticación SASL_SCRAM, agregue las siguientes políticas:

allow service rawfka to read secrets in compartment <compartment-name>

La política anterior permite al servicio OCI Streaming con Apache Kafka leer los metadatos del secreto (no el propio secreto) que se necesitan para la autenticación SASL_SCRAM.

allow service rawfka to use secrets in compartment <compartment-name>
 where request.operation = 'UpdateSecret'

Creación de un Cluster

Debe crear los recursos necesarios antes de crear el cluster de Kafka.

  • Abra el menú de navegación y seleccione Servicios para desarrolladores. En Integración de aplicaciones, seleccione OCI Streaming con Apache Kafka.

    En la página Clusters de Kafka, seleccione Crear cluster.

    1. Configuración de cluster

    • Nombre de cluster: introduzca un nombre único para el cluster.
    • Compartimento: seleccione el compartimento en la que desea crear el cluster.
    • Versión de Apache Kafka: seleccione la versión de Apache Kafka que desea utilizar.
    • Etiquetado: (opcional) si tiene permisos para crear un recurso, quiere decir, que también tiene permisos para aplicar etiquetas de formato libre a ese recurso. Para aplicar una etiqueta definida, debe tener permisos para utilizar el espacio de nombres de la etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si desea aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.

    2. Configuración de Broker

    • Tipo de cluster: seleccione el cluster de inicio o el cluster de alta disponibilidad como el tipo de cluster que desea crear. El número mínimo de brokers en el cluster cambia según el tipo que seleccione. Un cúmulo inicial se utiliza para pruebas o desarrollo y tiene 1 corredor como mínimo. Un cluster de alta disponibilidad se utiliza para la producción y tiene 3 brokers como mínimo.
    • Configuración de Broker: introduzca el número de brokers que desea en el cluster y la OCPU necesaria por broker. Estos valores se calculan mejor mediante el tamaño del cluster según los requisitos del cluster. La memoria por broker se asigna en función del número de OCPU por broker especificado. A cada OCPU se le asignan 6 GB. La unidad de computación por defecto que se utiliza para un broker es el procesador basado en Arm. Si esta unidad no está disponible en la región, se utiliza una unidades con AMD o procesador Intel.
    • Almacenamiento: especifique el almacenamiento de volumen en bloque que se necesita por broker. Planifique el tamaño y el almacenamiento del cluster según los requisitos de negocio para calcular el tamaño de almacenamiento del volumen en bloque para el cluster.

    3. Configuración de cluster

    Se proporciona una configuración por defecto según el tipo de cluster que esté creando. Puede utilizar la configuración por defecto o proporcionar una configuración personalizada. Si decide utilizar una configuración personalizada, le recomendamos que cree el archivo de configuración de cluster antes de crear el cluster de Kafka. Después de crear un cluster de Kafka, aún puede actualizar el archivo de configuración del cluster, pero con ciertas limitaciones.

    4. Configuración de seguridad (opcional)

    Proporcione el certificado para la autenticación TLS mutua a fin de utilizar mTLS como mecanismo de autenticación para el cluster. También puede proporcionar el certificado después de crear el cluster. Para utilizar la autenticación SASL/SCRAM, puede omitir este paso.

    5. Redes

    Seleccione la VCN y la subred que ha creado para el cluster. Los agentes de cluster se crean en la subred que especifique

    6. Revisar y Crear

    Revise todos los detalles proporcionados y realice actualizaciones, si las hay, mediante el enlace Editar. A continuación, seleccione Crear.

  • Utilice el comando oci kafka cluster create y los parámetros necesarios para crear un cluster de Kafka:

    oci kafka cluster create 
--access-subnets '[{"subnets":"<subnet-ocid>"}]' 
--broker-shape '{"nodeCount":<node-count>, "ocpuCount":<ocpu-count>, "storageSizeInGbs":storage-size}'
--cluster-config-id <config-ID> 
--cluster-config-version <config-version> 
--cluster-type <cluster-type> 
--compartment-id <compartment-ocid> | -c <compartment-name> 
--coordination-type <coordination-type> 
--kafka-version <version>
--client-certification-bundle <CA-cert-bundle-for-mTLS>
--display-name <cluster-name>
--freeform-tags <tags-in-json>
--auth <auth-type>
--auth-purpose <auth-purpose>
--cert-bundle <CA-cert-bundle-path-for-ssl>
--config-file <config-file-path>
--connection-timeout <connection-timeout-in-seconds>
--defined-tags <tags-in-json>

    Opciones necesarias

    <ocid de subred>
    Juego de OCID de subred en el que se deben crear las VNIC del cluster de Kafka.

    Puede especificar los OCID de subred directamente en el símbolo del sistema en formato JSON.

    O bien, puede crear un archivo JSON con la información de subred y transferir el archivo en el comando de la CLI. Por ejemplo, cree un archivo subnets.json con los detalles de la subred y transfiera el archivo del comando como --access-subnets file://subnets.json.
    [
  {
    "subnets": [
      "ocid1.subnet.oc1.<.exampleuniqueID_1>",
      "ocid1.subnet.oc1.<.exampleuniqueID_2>"
    ]
  }
]
    O bien, puede configurar la información de subred en una variable de exportación de entorno y, a continuación, transferirla en el comando de la CLI. Por ejemplo, cree la variable de exportación SUBNETS y transfiera la variable en el comando como --access-subnets "$SUBNETS" 
    export SUBNETS='[{"subnets":["ocid1.subnet.oc1.<.exampleuniqueID_1>", "ocid1.subnet.oc1.<.exampleuniqueID_2>"]}]'
    <forma de intermediario>
    En formato JSON, especifique el número de nodos de broker que se van a crear, el número de OCPU por nodo y el tamaño de almacenamiento de cada nodo.
    <config-ID>
    OCID del recurso Configuración de cluster de Kafka.
    <config-version>
    Versión del recurso de configuración de cluster de Kafka.
    <cluster-type>
    Tipo de cluster que se creará. Especifique DEVELOPMENT o PRODUCTION.
    <compartment-ID> | <compartment-name>
    OCID o nombre del compartimento en el que se debe crear el cluster.
    <tipo de coordinación>
    Tipo de coordinación de intermediarios de Kafka. En función de la versión de Kafka, especifique ZOOKEEPER o KRAFT.
    <versión>
    Versión soportada que se utilizará para crear el cluster de Kafka.

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateKafkaCluster para crear un cluster.

Siguientes Pasos

Debe configurar uno de los dos tipos de autenticación para acceder al cluster de Kafka mediante una aplicación cliente de Kafka.

Importante

Si no configura uno de los dos tipos de autenticación, no podrá acceder al cluster de Kafka que ha creado. Para acceder al cluster de Kafka y realizar operaciones de datos, debe configurar un cliente de Kafka.

Una vez que se crea el cluster de Kafka y se configura la autenticación, puede configurar un cliente de Kafka en el arrendamiento de OCI y ejecutar los comandos de Kafka para crear temas, y producir y consumir datos.