Documentazione dell'infrastruttura Oracle Cloud

Creazione di una pipeline OpenSearch

Creare una pipeline OpenSearch per includere i dati di log in un cluster OpenSearch con Data Prepper.

Nota

I nomi di indice OpenSearch devono seguire le regole riportate di seguito.
  • Tutte le lettere devono essere minuscole.
  • I nomi non possono iniziare con un carattere di sottolineatura ( _ ) o un trattino (-).
  • I nomi non possono contenere spazi, virgole o uno qualsiasi dei seguenti caratteri: :, ", *, +, /, \, |, ?, #, >, <
  • Il nome indice può contenere un'espressione di prepper dati.
Importante

Dopo aver creato una pipeline di inclusione dati all'interno di un cluster OpenSearch, è possibile eliminare il cluster solo se sono state eliminate prima tutte le pipeline di inclusione dati.
    1. Nella pagina della lista Pipeline selezionare Crea pipeline. Se è necessaria assistenza per trovare la pagina della lista, vedere Elenco delle pipeline OpenSearch.
    2. Nel pannello Crea pipeline immettere le informazioni riportate di seguito.
      • Nome pipeline: immettere il nome della pipeline.
      • Compartimento: selezionare il compartimento che contiene la pipeline dalla lista.
      • Tag: applica tutte le tag alla pipeline desiderata. Vedere Panoramica sull'applicazione di tag.
    3. In YAML selezionare una delle opzioni pipeline riportate di seguito.
      • Pull: selezionare questa opzione per estrarre periodicamente i dati da origini esterne. Successivamente, selezionare una delle opzioni Tipo di origine corrispondenti:
        • Memorizzazione degli oggetti.
        • Kafka. La selezione di questa opzione richiede di fornire le informazioni di configurazione di rete più avanti nel processo di creazione della pipeline.
      • Push: selezionare questa opzione per la ricezione dei dati tramite un endpoint di inclusione. Successivamente, selezionare una delle opzioni Tipo di origine corrispondenti:
        • HTTP
        • Log OpenTelemetry
        • Metriche OpenTelemetry
        • Trace OpenTelemetry
    4. Selezionare Genera YAML.
      Nella casella Pipeline YAML viene generato uno schema predefinito. Qui puoi personalizzarlo per soddisfare le tue esigenze.

      Per le configurazioni YAML di storage degli oggetti e coordinamento dell'origine, vedere Object Storage and Source Coordination YAML.

      Per le configurazioni Kafka YAML, vedere Kafka YAML.

    5. In Configurazione hardware immettere le informazioni riportate di seguito.
      • Conteggio nodi: immettere il numero di nodi compreso tra 1 e 10.
      • OCPU: immettere il numero di OCPU compreso tra 1 e 32.
      • Memoria (GB): immettere la quantità di membro in gigabyte tra 8 e 1024.
    6. In Configurazione di rete, tenere presente quanto segue:
      Questa configurazione è necessaria solo per il servizio di streaming OCI privato e le pipeline Kafka e push autogestite. Per il servizio di streaming OCI pubblico, non selezionare nessuno.

      Se l'origine richiede una connessione inversa, è necessario configurare le pipeline OpenSearch con una connessione inversa per estrarre i dati dall'origine dati che si trova nella subnet. Il provisioning della connessione inversa è completamente automatico.

      Immettere le informazioni riportate di seguito.

      • Rete cloud virtuale in <compartment>: selezionare la rete cloud virtuale (VCN) nel compartimento specificato che si desidera dalla lista.
      • Subnet in <compartment>: selezionare la subnet alla VCN nel compartimento specificato che si desidera dalla lista.
      • Gruppo di protezione di rete: selezionare il gruppo di protezione di rete desiderato dalla lista.
      Nota

      La configurazione seguente è richiesta solo per il servizio di streaming OCI privato e il Kafka autogestito. Nel caso del servizio di streaming OCI pubblico, non selezionarne nessuno.
      • Endpoint di connessione inversa: immettere l'indirizzo IP dell'endpoint che si desidera utilizzare per la connessione inversa.
      • Nome dominio: immettere il nome dominio completamente qualificato (FQDN) dell'origine. Ad esempio:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Selezionare Esecuzione manuale per convalidare le configurazioni fornite.
      Una volta completata l'operazione, è possibile continuare con la creazione effettiva della pipeline.
    8. Selezionare Crea.

  • Utilizzare il comando oci opensearch pipeline create e i parametri necessari per creare una pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body è la configurazione del prepper dati in formato YAML. Il comando accetta la configurazione del prepper dati come stringa o all'interno di un file .yaml. Se si fornisce la configurazione come stringa, ogni nuova riga deve essere sfuggita con ".".

    pipeline-configuration-body è la configurazione della pipeline in formato YAML. Il comando accetta la configurazione della pipeline come stringa o all'interno di un file .yaml. Se si fornisce la configurazione come stringa, ogni nuova riga deve essere sfuggita con ".".

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

  • Eseguire l'operazione CreateOpensearchClusterPipeline per creare una pipeline.