Documentation sur Oracle Cloud Infrastructure

Création d'un pipeline OpenSearch

Créez un pipeline OpenSearch pour ingérer des données de journal dans une grappe OpenSearch avec Data Prepper.

Note

Les noms d'index OpenSearch doivent respecter les règles suivantes :
  • Toutes les lettres doivent être en minuscules.
  • Les noms ne peuvent pas commencer par un trait de soulignement ( _ ) ou un tiret (-).
  • Les noms ne peuvent pas contenir d'espaces, de virgules ni l'un des caractères suivants : : :, ", *, +, /, \, |,?, #, >, <
  • Le nom de l'index peut contenir une expression de préfixe de données.
Important

Après avoir créé un pipeline d'ingestion de données dans une grappe OpenSearch, vous ne pouvez supprimer la grappe que si vous avez d'abord supprimé tous ses pipelines d'ingestion de données.
    1. Dans la page de liste Pipelines, sélectionnez Créer un pipeline. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des pipelines OpenSearch.
    2. Dans le panneau Créer un pipeline, entrez les informations suivantes :
      • Nom du pipeline : Entrez le nom du pipeline.
      • Compartiment : Sélectionnez le compartiment qui contient le pipeline dans la liste.
      • Marqueurs : Appliquez les marqueurs au pipeline souhaité. Voir Aperçu du service de marquage.
    3. Sous YAML, sélectionnez l'une des options de pipeline suivantes :
      • Extraire : Sélectionnez cette option pour extraire des données périodiquement à partir de sources externes. Sélectionnez ensuite l'une des options Type de source correspondantes :
        • Stockage d'objets.
        • Kafka. La sélection de cette option nécessite que vous fournissiez des informations de configuration de réseau plus tard dans le processus de création de pipeline.
      • Pousser : Sélectionnez cette option pour recevoir des données au moyen d'un point d'extrémité d'ingestion. Sélectionnez ensuite l'une des options Type de source correspondantes :
        • HTTP
        • Journaux OpenTelemetry
        • Mesures OpenTelemetry
        • OpenTelemetry Trace
    4. Sélectionnez Générer YAML.
      Un schéma par défaut est généré dans la zone Pipeline YAML. Ici, vous pouvez le personnaliser pour répondre à vos besoins.

      Pour les configurations YAML du stockage d'objets et de la coordination des sources, voir Stockage d'objets et coordination des sources YAML.

      Pour les configurations Kafka YAML, voir Kafka YAML.

    5. Sous Configuration du matériel, entrez les informations suivantes :
      • Nombre de noeuds : Entrez le nombre de noeuds compris entre 1 et 10.
      • OCPU : Entrez un nombre compris entre 1 et 32.
      • Mémoire (Go) : Entrez la quantité de membres en gigaoctets entre 8 et 1024.
    6. Sous Configuration du réseau, notez ce qui suit :
      Cette configuration n'est requise que pour le service de diffusion en continu pour OCI privé et les pipelines Kafka et Push autogérés. Pour le service de diffusion en continu OCI public, n'en sélectionnez aucune.

      Si la source a besoin d'une connexion inverse, vous devez configurer les pipelines OpenSearch avec une connexion inverse pour extraire les données de la source de données résidant dans votre sous-réseau. Le provisionnement de la connexion inverse est entièrement automatique.

      Entrez les informations suivantes :

      • Réseau en nuage virtuel dans <compartment> : Sélectionnez le réseau en nuage virtuel (VCN) dans le compartiment spécifié que vous voulez dans la liste.
      • Sous-réseau dans <compartment> : Sélectionnez dans la liste le sous-réseau vers le VCN dans le compartiment spécifié.
      • Groupe de sécurité de réseau : Sélectionnez le groupe de sécurité de réseau voulu dans la liste.
      Note

      La configuration suivante n'est requise que pour le service de diffusion en continu OCI privé et Kafka autogéré. Dans le cas du service de diffusion en continu Public OCI, n'en sélectionnez aucune.
      • Points d'extrémité de connexion inverse : Entrez l'adresse IP du point d'extrémité à utiliser pour la connexion inverse.
      • Nom de domaine : Entrez le nom de domaine complet de votre source. Exemple :
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Sélectionnez Sécher l'exécution pour valider les configurations fournies.
      Une fois que vous avez réussi, vous pouvez poursuivre la création réelle du pipeline.
    8. Sélectionnez Créer.

  • Utilisez la commande oci opensearch pipeline create et les paramètres requis pour créer un pipeline :

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body est la configuration du prédateur de données au format YAML. La commande accepte la configuration du prédateur de données sous forme de chaîne ou dans un fichier .yaml. Si vous fournissez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    pipeline-configuration-body est la configuration de pipeline au format YAML. La commande accepte la configuration du pipeline sous forme de chaîne ou dans un fichier .yaml. Si vous fournissez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir .

  • Exécutez l'opération CreateOpensearchClusterPipeline pour créer un pipeline.