Documentation sur Oracle Cloud Infrastructure

Démarrage en créant une grappe

Pour démarrer avec le service de diffusion en continu pour OCI avec Apache Kafka, créez une grappe Kafka dans une location OCI.

Avant de commencer

Assurez-vous de créer les ressources OCI suivantes dans la location où vous voulez créer la grappe Kafka :

  • Créez un réseau en nuage virtuel (VCN) dans la location.
  • Créez un sous-réseau dans le VCN.
  • Modifiez le sous-réseau pour autoriser le trafic (source port range = All) vers l'un des ports suivants :
    • Pour le mécanisme d'authentification SASL_SCRAM, autorisez le trafic TCP vers le port 9092.
    • Pour le mécanisme d'authentification basé sur mTLS, autorisez le trafic vers le port 9093.

Politiques GIA requises

Créez les énoncés de politique suivants dans le compartiment où vous créez la grappe Kafka.

allow group <kafka_admin_group_name> to 
{KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ,KAFKA_CLUSTER_CREATE, 
KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ, 
KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE, KAFKA_CLUSTER_CONFIG_UPDATE, 
KAFKA_CLUSTER_CONFIG_DELETE } in compartment <compartment-name> | tenancy
allow service rawfka to use vnics in compartment <compartment-name>
                
allow service rawfka to {SUBNET_READ} in compartment <compartment-name>
                
allow service rawfka to use network-security-groups 
in compartment <compartment>
                
allow service rawfka to use subnets in compartment <compartment-name>

Si vous utilisez l'authentification SASL_SCRAM, ajoutez les politiques suivantes :

allow service rawfka to read secrets in compartment <compartment-name>

La politique précédente permet au service de diffusion en continu pour OCI avec Apache Kafka de lire les métadonnées de la clé secrète (et non la clé secrète elle-même) requises pour l'authentification SASL_SCRAM.

allow service rawfka to use secrets in compartment <compartment-name>
 where request.operation = 'UpdateSecret'

Création d'une grappe

Vous devez créer les ressources préalables avant de créer la grappe Kafka.

  • Ouvrez le menu de navigation et sélectionnez Services de développement. Sous Intégration d'applications, sélectionnez Service de diffusion en continu pour OCI avec Apache Kafka.

    Dans la page Grappes Kafka, sélectionnez Créer une grappe.

    1. Paramètres de grappe

    • Nom de la grappe : Entrez un nom unique pour la grappe.
    • Compartiment : Sélectionnez le compartiment dans lequel créer la grappe.
    • Version d'Apache Kafka : Sélectionnez la version d'Apache Kafka à utiliser.
    • Marquage : (Facultatif) Si vous avez l'autorisation de créer une ressource, vous avez également l'autorisation d'appliquer des marqueurs à structure libre à cette ressource. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.

    2. Paramètres de courtier

    • Type de grappe : Sélectionnez le type de grappe ou la grappe à haute disponibilité comme type de grappe à créer. Le nombre minimal de courtiers dans la grappe change en fonction du type que vous sélectionnez. Une grappe de démarrage est utilisée pour le test ou le développement et comporte au minimum 1 courtier. Une grappe à haute disponibilité est utilisée pour la production et comporte au minimum 3 courtiers.
    • Configuration du courtier : Entrez le nombre de courtiers voulus dans la grappe et l'OCPU requise par courtier. Ces valeurs sont mieux calculées en dimensionnant la grappe selon les exigences de la grappe. La mémoire par courtier est affectée en fonction du nombre d'OCPU par courtier que vous avez spécifié. 6 Go sont affectés à chaque OCPU. La forme de calcul par défaut utilisée pour un courtier est le processeur basé sur ARM. Si cette forme n'est pas disponible dans la région, une forme dotée d'un processeur AMD ou Intel est utilisée.
    • Stockage : Spécifiez le stockage de volume par blocs requis par courtier. Planifiez la taille et le stockage de la grappe en fonction des besoins de l'entreprise pour calculer la taille de stockage du volume par blocs pour la grappe.

    3. Configuration de la grappe

    Une configuration par défaut est fournie en fonction du type de grappe que vous créez. Vous pouvez utiliser la configuration par défaut ou fournir une configuration personnalisée. Si vous choisissez d'utiliser une configuration personnalisée, nous vous recommandons de créer le fichier de configuration de grappe avant de créer la grappe Kafka. Une fois la grappe Kafka créée, vous pouvez toujours mettre à jour le fichier de configuration de la grappe, mais avec certaines limites.

    4. Paramètres de sécurité (facultatif)

    Fournissez le certificat pour l'authentification TLS mutuelle afin d'utiliser mTLS comme mécanisme d'authentification pour la grappe. Vous pouvez également fournir le certificat après la création de la grappe. Pour utiliser l'authentification SASL/SCRAM, vous pouvez ignorer cette étape.

    5. Réseau

    Sélectionnez le VCN et le sous-réseau que vous avez créés pour la grappe. Les courtiers de grappe sont créés dans le sous-réseau que vous spécifiez

    6. Vérifier et créer

    Vérifiez tous les détails fournis et effectuez des mises à jour, le cas échéant, à l'aide du lien Modifier. Sélectionnez ensuite Créer.

  • Utilisez la commande oci kafka cluster create et les paramètres requis pour créer une grappe Kafka :

    oci kafka cluster create 
--access-subnets '[{"subnets":"<subnet-ocid>"}]' 
--broker-shape '{"nodeCount":<node-count>, "ocpuCount":<ocpu-count>, "storageSizeInGbs":storage-size}'
--cluster-config-id <config-ID> 
--cluster-config-version <config-version> 
--cluster-type <cluster-type> 
--compartment-id <compartment-ocid> | -c <compartment-name> 
--coordination-type <coordination-type> 
--kafka-version <version>
--client-certification-bundle <CA-cert-bundle-for-mTLS>
--display-name <cluster-name>
--freeform-tags <tags-in-json>
--auth <auth-type>
--auth-purpose <auth-purpose>
--cert-bundle <CA-cert-bundle-path-for-ssl>
--config-file <config-file-path>
--connection-timeout <connection-timeout-in-seconds>
--defined-tags <tags-in-json>

    Options requises

    <subnet-ocid>
    Jeu d'OCID de sous-réseau où les cartes vNIC de grappe Kafka doivent être créées.

    Vous pouvez spécifier les OCID du sous-réseau directement à l'invite de commande au format JSON.

    Vous pouvez également créer un fichier JSON avec les informations du sous-réseau et transmettre le fichier dans la commande de l'interface de ligne de commande. Par exemple, créez un fichier subnets.json avec les détails du sous-réseau et transmettez le fichier dans la commande en tant que --access-subnets file://subnets.json.
    [
  {
    "subnets": [
      "ocid1.subnet.oc1.<.exampleuniqueID_1>",
      "ocid1.subnet.oc1.<.exampleuniqueID_2>"
    ]
  }
]
    Vous pouvez également définir les informations de sous-réseau dans une variable d'exportation d'environnement, puis les transmettre dans la commande d'interface de ligne de commande. Par exemple, créez la variable d'exportation SUBNETS et transmettez la variable dans la commande en tant que --access-subnets "$SUBNETS" 
    export SUBNETS='[{"subnets":["ocid1.subnet.oc1.<.exampleuniqueID_1>", "ocid1.subnet.oc1.<.exampleuniqueID_2>"]}]'
    <forme du courtier>
    Dans le format JSON, spécifiez le nombre de noeuds de courtier à créer, le nombre d'OCPU par noeud et la taille de stockage pour chaque noeud.
    <ID configuration>
    OCID de la ressource de configuration de grappe Kafka.
    <version de configuration>
    Version de la ressource de configuration de grappe Kafka.
    <type de grappe>
    Type de grappe à créer. Spécifiez DEVELOPMENT ou PRODUCTION.
    <compartment-ID> | <compartment-name>
    OCID ou nom du compartiment dans lequel la grappe doit être créée.
    <type de coordination>
    Type de coordination du courtier Kafka. Selon la version de Kafka, spécifiez ZOOKEEPER ou KRAFT.
    <version>
    Version prise en charge à utiliser pour créer la grappe Kafka.

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface de ligne de commande.

  • Exécutez l'opération CreateKafkaCluster pour créer une grappe.

Étapes suivantes

Vous devez configurer l'un des deux types d'authentification pour accéder à la grappe Kafka à l'aide d'une application client Kafka.

Important

Sans configurer l'un des deux types d'authentification, vous ne pouvez pas accéder à la grappe Kafka que vous avez créée. Pour accéder à la grappe Kafka et effectuer des opérations de données, vous devez configurer un client Kafka.

Une fois la grappe Kafka créée et l'authentification configurée, vous pouvez configurer un client Kafka dans une location OCI et exécuter les commandes Kafka pour créer des sujets, produire et consommer des données.