Oracle Cloud Infrastructure-Dokumentation

OpenSearch-Pipeline erstellen

Erstellen Sie eine OpenSearch-Pipeline, um Logdaten mit Data Prepper in ein OpenSearch-Cluster aufzunehmen.

    1. Wählen Sie auf der Listenseite Pipelines die Option Pipeline erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, finden Sie weitere Informationen unter OpenSearch-Pipelines auflisten.
    2. Geben Sie im Bereich Pipeline erstellen die folgenden Informationen ein:
      • Pipelinename: Geben Sie den Namen der Pipeline ein.
      • Compartment: Wählen Sie in der Liste das Compartment aus, das die Pipeline enthält.
      • Tags: Wenden Sie Tags auf die gewünschte Pipeline an. Siehe Überblick über Tagging.
    3. Wählen Sie unter YAML eine der folgenden Optionen für den Quelltyp aus:
      • Object Storage.
      • Kafka. Wenn Sie diese Option auswählen, müssen Sie später im Pipelineerstellungsprozess Netzwerkkonfigurationsinformationen angeben.
    4. Wählen Sie YAML generieren aus.
      Im Feld Pipeline-YAML wird ein Standardschema generiert. Hier können Sie es an Ihre Bedürfnisse anpassen.

      Informationen zu Object Storage- und Quellkoordinations-YAML-Konfigurationen finden Sie unter Object Storage und Quellkoordination YAML.

      Informationen zu Kafka-YAML-Konfigurationen finden Sie unter Kafka YAML.

    5. Geben Sie unter Hardwarekonfiguration die folgenden Informationen ein:
      • Knotenanzahl: Geben Sie die Anzahl der Knoten zwischen 1 und 10 ein.
      • OCPUs: Geben Sie die Anzahl der OCPUs zwischen 1 und 32 ein.
      • Arbeitsspeicher (GB): Geben Sie die Anzahl der Elemente in Gigabyte zwischen 8 und 1024 ein.
    6. (Nur Kafka-Quelltyp) Beachten Sie unter Netzwerkkonfiguration Folgendes:
      Diese Konfiguration ist nur für den privaten OCI Streaming-Service und das selbstverwaltete Kafka erforderlich. Wählen Sie für den öffentlichen OCI Streaming-Service keine Option aus.

      Wenn die Quelle eine Reverse-Verbindung benötigt, müssen Sie die OpenSearch-Pipelines mit einer Reverse-Verbindung so konfigurieren, dass die Daten aus der Datenquelle in Ihrem Subnetz abgerufen werden. Das Reverse Connection Provisioning erfolgt vollautomatisch.

      Geben Sie folgende Informationen ein::

      • Virtuelles Cloud-Netzwerk in <Compartment>: Wählen Sie in der Liste das virtuelle Cloud-Netzwerk (VCN) im angegebenen Compartment aus, das Sie möchten.
      • Subnetz in <Compartment>: Wählen Sie in der Liste das Subnetz für das VCN im angegebenen Compartment aus, das Sie möchten.
      • Netzwerksicherheitsgruppe: Wählen Sie die gewünschte Netzwerksicherheitsgruppe aus der Liste aus.
      • Reverse Connection Endpoints: Geben Sie die IP-Adresse des Endpunkts ein, den Sie für die Reverse Connection verwenden möchten.
      • Domainname: Geben Sie den vollqualifizierten Domainnamen (FQDN) Ihrer Quelle ein. Beispiel:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      Hinweis

      Diese Konfiguration ist nur für den privaten OCI Streaming Service und das selbstverwaltete Kafka erforderlich. Falls der öffentliche OCI-Streaming-Service vorhanden ist, wählen Sie keinen aus.
    7. Wählen Sie Probelauf aus, um die angegebenen Konfigurationen zu validieren.
      Nachdem Sie erfolgreich waren, können Sie mit der eigentlichen Pipelineerstellung fortfahren.
    8. Wählen Sie Erstellen aus.

  • Verwenden Sie den Befehl oci opensearch Pipeline create und die erforderlichen Parameter, um eine Pipeline zu erstellen:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body ist die Daten-Prepper-Konfiguration im YAML-Format. Der Befehl akzeptiert die Data Prepper-Konfiguration als Zeichenfolge oder innerhalb einer YAML-Datei. Wenn Sie die Konfiguration als Zeichenfolge angeben, muss jede neue Zeile mit "." maskiert werden.

    pipeline-configuration-body ist die Pipelinekonfiguration im YAML-Format. Der Befehl akzeptiert die Pipelinekonfiguration als Zeichenfolge oder innerhalb einer YAML-Datei. Wenn Sie die Konfiguration als Zeichenfolge angeben, muss jede neue Zeile mit "." maskiert werden.

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateOpensearchClusterPipeline aus, um eine Pipeline zu erstellen.