Documentation sur Oracle Cloud Infrastructure

Création d'un pipeline OpenSearch

Créez un pipeline OpenSearch pour ingérer des données de journal dans une grappe OpenSearch avec Data Prepper.

    1. Dans la page de liste Pipelines, sélectionnez Créer un pipeline. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des pipelines OpenSearch.
    2. Dans le panneau Créer un pipeline, entrez les informations suivantes :
      • Nom du pipeline : Entrez le nom du pipeline.
      • Compartiment : Sélectionnez le compartiment qui contient le pipeline dans la liste.
      • Marqueurs : Appliquez les marqueurs au pipeline souhaité. Voir Aperçu du service de marquage.
    3. Sous YAML, sélectionnez l'une des options Type de source suivantes :
      • Stockage d'objets.
      • Kafka. La sélection de cette option nécessite que vous fournissiez des informations de configuration de réseau plus tard dans le processus de création de pipeline.
    4. Sélectionnez Générer YAML.
      Un schéma par défaut est généré dans la zone Pipeline YAML. Ici, vous pouvez le personnaliser pour répondre à vos besoins.

      Pour les configurations YAML du stockage d'objets et de la coordination des sources, voir Stockage d'objets et coordination des sources YAML.

      Pour les configurations Kafka YAML, voir Kafka YAML.

    5. Sous Configuration du matériel, entrez les informations suivantes :
      • Nombre de noeuds : Entrez le nombre de noeuds compris entre 1 et 10.
      • OCPU : Entrez un nombre compris entre 1 et 32.
      • Mémoire (Go) : Entrez la quantité de membres en gigaoctets entre 8 et 1024.
    6. (Type de source Kafka uniquement) Sous Configuration du réseau, notez ce qui suit :
      Cette configuration n'est requise que pour le service de diffusion en continu OCI privé et Kafka autogéré. Pour le service de diffusion en continu OCI public, n'en sélectionnez aucune.

      Si la source a besoin d'une connexion inverse, vous devez configurer les pipelines OpenSearch avec une connexion inverse pour extraire les données de la source de données résidant dans votre sous-réseau. Le provisionnement de la connexion inverse est entièrement automatique.

      Entrez les informations suivantes : :

      • Réseau en nuage virtuel dans <compartment> : Sélectionnez le réseau en nuage virtuel (VCN) dans le compartiment spécifié que vous voulez dans la liste.
      • Sous-réseau dans <compartment> : Sélectionnez dans la liste le sous-réseau vers le VCN dans le compartiment spécifié.
      • Groupe de sécurité de réseau : Sélectionnez le groupe de sécurité de réseau voulu dans la liste.
      • Points d'extrémité de connexion inverse : Entrez l'adresse IP du point d'extrémité à utiliser pour la connexion inverse.
      • Nom de domaine : Entrez le nom de domaine complet de votre source. Exemple :
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      Note

      Cette configuration n'est requise que pour le service de diffusion en continu OCI privé et Kafka autogéré. Dans le cas du service de diffusion en continu OCI public, sélectionnez-en aucun.
    7. Sélectionnez Sécher l'exécution pour valider les configurations fournies.
      Une fois que vous avez réussi, vous pouvez poursuivre la création réelle du pipeline.
    8. Sélectionnez Créer.

  • Utilisez la commande oci opensearch pipeline create et les paramètres requis pour créer un pipeline :

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body est la configuration du prédateur de données au format YAML. La commande accepte la configuration du précompteur de données sous forme de chaîne ou dans un fichier .yaml. Si vous fournissez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    pipeline-configuration-body est la configuration de pipeline au format YAML. La commande accepte la configuration du pipeline sous forme de chaîne ou dans un fichier .yaml. Si vous fournissez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir .

  • Exécutez l'opération CreateOpensearchClusterPipeline pour créer un pipeline.