Documentation Oracle Cloud Infrastructure

Introduction à la création d'un cluster

Commencez avec OCI Streaming avec Apache Kafka en créant un cluster Kafka dans une location OCI.

Avant de commencer

Veillez à créer les ressources OCI suivantes dans la location dans laquelle créer le cluster Kafka :

  • Créez un réseau cloud virtuel (VCN) dans la location.
  • Créez un sous-réseau dans le VCN.
  • Modifiez le sous-réseau pour autoriser le trafic (source port range = All) vers l'un des ports suivants :
    • Pour le mécanisme d'authentification SASL_SCRAM, autorisez le trafic TCP vers le port 9092.
    • Pour le mécanisme d'authentification mTLS, autorisez le trafic vers le port 9093.

Stratégies IAM requises

Créez une stratégie à l'aide de ces instructions dans le compartiment dans lequel vous créez le cluster Kafka.

allow group <kafka_admins> to {KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ, KAFKA_CLUSTER_CREATE, KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ, KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE, KAFKA_CLUSTER_CONFIG_UPDATE, KAFKA_CLUSTER_CONFIG_DELETE } in compartment <compartment> | tenancy

allow service rawfka to use vnics in compartment <compartment>

allow service rawfka to {SUBNET_READ} in compartment <compartment> 

allow service rawfka to use network-security-groups in compartment <compartment>

allow service rawfka to use subnets in compartment <compartment>

# If you're using SASL_SCRAM authentication - 

allow service rawfka to use secrets in compartment id <compartment> where request.operation = 'UpdateSecret'

Création d'un cluster

Vous devez créer les ressources de prérequis avant de créer le cluster Kafka.

  • Ouvrez le menu de navigation et sélectionnez Services de développeur. Sous Intégration d'applications, sélectionnez OCI Streaming with Apache Kafka.

    Sur la page Clusters Kafka, sélectionnez Créer un cluster.

    1. Paramètres de cluster

    • Nom du cluster : entrez un nom unique pour le cluster.
    • Compartiment : sélectionnez le compartiment vers lequel créer le cluster.
    • Version d'Apache Kafka : sélectionnez la version d'Apache Kafka à utiliser.
    • Balisage : (facultatif) si vous disposez des droits d'accès nécessaires pour créer une ressource, vous disposez également de droits d'accès nécessaires pour lui appliquer des balises à format libre. Pour appliquer une balise définie, vous devez disposer des droits d'accès nécessaires pour utiliser l'espace de noms de balise. Pour plus d'informations sur le balisage, reportez-vous à Balises de ressource. Si vous n'êtes pas certain d'appliquer des balises, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des balises ultérieurement.

    2. Paramètres de courtier

    • Type de cluster : sélectionnez le cluster de démarrage ou le cluster de haute disponibilité comme type de cluster à créer. Le nombre minimal de brokers dans le cluster varie en fonction du type que vous sélectionnez. Un cluster de démarrage est utilisé pour le test ou le développement et dispose au minimum de 1 broker. Un cluster haute disponibilité est utilisé pour la production et dispose au minimum de 3 brokers.
    • Configuration du broker : entrez le nombre de brokers souhaités dans le cluster et l'OCPU requise par broker. Ces valeurs sont mieux calculées en dimensionnant le cluster en fonction des exigences du cluster. La mémoire par courtier est allouée en fonction du nombre d'OCPU par courtier spécifié. 6 Go sont alloués à chaque OCPU. La forme de calcul par défaut utilisée pour un courtier est le processeur Arm. Si cette forme n'est pas disponible dans la région, une forme avec le processeur AMD ou Intel est utilisée.
    • Stockage : indiquez le stockage de volume de blocs requis par broker. Planifiez la taille et le stockage du cluster en fonction des besoins métier afin de calculer la taille de stockage du volume de blocs pour le cluster.

    3. Configuration de cluster

    Une configuration par défaut est fournie en fonction du type de cluster que vous créez. Vous pouvez utiliser la configuration par défaut ou fournir une configuration personnalisée. Si vous choisissez d'utiliser une configuration personnalisée, nous vous recommandons de créer le fichier de configuration de cluster avant de créer le cluster Kafka. Une fois le cluster Kafka créé, vous pouvez toujours mettre à jour le fichier de configuration du cluster, mais avec certaines limitations.

    4. Paramètres de sécurité (facultatif)

    Fournissez le certificat pour l'authentification TLS mutuelle afin d'utiliser mTLS comme mécanisme d'authentification pour le cluster. Vous pouvez également fournir le certificat après la création du cluster. Pour utiliser l'authentification SASL/SCRAM, vous pouvez ignorer cette étape.

    5. Mise en réseau

    Sélectionnez le VCN et le sous-réseau que vous avez créés pour le cluster. Les brokers de cluster sont créés dans le sous-réseau que vous indiquez

    6. Vérifier et Créer

    Vérifiez tous les détails fournis et effectuez des mises à jour, le cas échéant, à l'aide du lien Modifier. Sélectionnez ensuite Créer.

  • Utilisez la commande oci kafka cluster create et les paramètres requis pour créer un cluster Kafka :

    oci kafka cluster create 
--access-subnets '[{"subnets":"<subnet-ocid>"}]' 
--broker-shape '{"nodeCount":<node-count>, "ocpuCount":<ocpu-count>, "storageSizeInGbs":storage-size}'
--cluster-config-id <config-ID> 
--cluster-config-version <config-version> 
--cluster-type <cluster-type> 
--compartment-id <compartment-ocid> | -c <compartment-name> 
--coordination-type <coordination-type> 
--kafka-version <version>
--client-certification-bundle <CA-cert-bundle-for-mTLS>
--display-name <cluster-name>
--freeform-tags <tags-in-json>
--auth <auth-type>
--auth-purpose <auth-purpose>
--cert-bundle <CA-cert-bundle-path-for-ssl>
--config-file <config-file-path>
--connection-timeout <connection-timeout-in-seconds>
--defined-tags <tags-in-json>

    Options obligatoires

    <sous-réseau-ocid>
    Ensemble d'OCID de sous-réseau dans lequel les cartes d'interface réseau virtuelles de cluster Kafka doivent être créées.

    Vous pouvez indiquer les OCID de sous-réseau directement dans l'invite de commande au format JSON.

    Vous pouvez également créer un fichier JSON avec les informations de sous-réseau et transmettre le fichier dans la commande d'interface de ligne de commande. Par exemple, créez un fichier subnets.json avec les détails du sous-réseau et transmettez le fichier dans la commande en tant que --access-subnets file://subnets.json.
    [
  {
    "subnets": [
      "ocid1.subnet.oc1.<.exampleuniqueID_1>",
      "ocid1.subnet.oc1.<.exampleuniqueID_2>"
    ]
  }
]
    Vous pouvez également définir les informations de sous-réseau dans une variable d'export d'environnement, puis les transmettre dans la commande CLI. Par exemple, créez la variable d'export SUBNETS et transmettez la variable dans la commande en tant que --access-subnets "$SUBNETS".
    export SUBNETS='[{"subnets":["ocid1.subnet.oc1.<.exampleuniqueID_1>", "ocid1.subnet.oc1.<.exampleuniqueID_2>"]}]'
    <forme de courtier>
    Au format JSON, indiquez le nombre de noeuds de broker à créer, le nombre d'OCPU par noeud et la taille de stockage de chaque noeud.
    <config-ID>
    OCID de la ressource Configuration de cluster Kafka.
    <version-configuration>
    Version de la ressource de configuration de cluster Kafka.
    <type de cluster>
    Type de cluster à créer. Indiquez DEVELOPMENT ou PRODUCTION.
    <compartment-ID> | <compartment-name>
    OCID ou nom du compartiment dans lequel le cluster doit être créé.
    <type de coordination>
    Type de coordination du broker Kafka. Selon la version de Kafka, indiquez ZOOKEEPER ou KRAFT.
    <version>
    Version prise en charge à utiliser pour créer le cluster Kafka.

    Pour obtenir la liste complète des paramètres et des valeurs des commandes de la CLI, reportez-vous à Référence des commandes de la CLI.

  • Exécutez l'opération CreateKafkaCluster pour créer un cluster.

Etapes suivantes

Vous devez configurer l'un des deux types d'authentification pour accéder au cluster Kafka à l'aide d'une application client Kafka.

Important

Sans configurer l'un des deux types d'authentification, vous ne pouvez pas accéder au cluster Kafka que vous avez créé. Pour accéder au cluster Kafka et effectuer des opérations de données, vous devez configurer un client Kafka.

Une fois le cluster Kafka créé et l'authentification configurée, vous pouvez configurer un client Kafka dans la location OCI et exécuter les commandes Kafka pour créer des sujets, et produire et utiliser des données.