Documentazione dell'infrastruttura Oracle Cloud

Creazione di una pipeline OpenSearch

Creare una pipeline OpenSearch per includere i dati di log in un cluster OpenSearch con Data Prepper.

    1. Nella pagina della lista Pipeline selezionare Crea pipeline. Se è necessaria assistenza per trovare la pagina della lista, vedere Elenco delle pipeline OpenSearch.
    2. Nel pannello Crea pipeline immettere le informazioni riportate di seguito.
      • Nome pipeline: immettere il nome della pipeline.
      • Compartimento: selezionare il compartimento che contiene la pipeline dalla lista.
      • Tag: applica tutte le tag alla pipeline desiderata. Vedere Panoramica sull'applicazione di tag.
    3. In YAML selezionare una delle opzioni Tipo di origine riportate di seguito.
      • Memorizzazione degli oggetti.
      • Kafka. La selezione di questa opzione richiede di fornire le informazioni di configurazione di rete più avanti nel processo di creazione della pipeline.
    4. Selezionare Genera YAML.
      Nella casella Pipeline YAML viene generato uno schema predefinito. Qui puoi personalizzarlo per soddisfare le tue esigenze.

      Per le configurazioni YAML di storage degli oggetti e coordinamento dell'origine, vedere Object Storage and Source Coordination YAML.

      Per le configurazioni Kafka YAML, vedere Kafka YAML.

    5. In Configurazione hardware immettere le informazioni riportate di seguito.
      • Conteggio nodi: immettere il numero di nodi compreso tra 1 e 10.
      • OCPU: immettere il numero di OCPU compreso tra 1 e 32.
      • Memoria (GB): immettere la quantità di membro in gigabyte tra 8 e 1024.
    6. (Solo tipo di origine Kafka) In Configurazione di rete, tenere presente quanto riportato di seguito.
      Questa configurazione è necessaria solo per il servizio di streaming OCI privato e per il kafka autogestito. Per il servizio di streaming OCI pubblico, non selezionare nessuno.

      Se l'origine richiede una connessione inversa, è necessario configurare le pipeline OpenSearch con una connessione inversa per estrarre i dati dall'origine dati che si trova nella subnet. Il provisioning della connessione inversa è completamente automatico.

      Immettere le informazioni riportate di seguito::

      • Rete cloud virtuale in <compartment>: selezionare la rete cloud virtuale (VCN) nel compartimento specificato che si desidera dalla lista.
      • Subnet in <compartment>: selezionare la subnet alla VCN nel compartimento specificato che si desidera dalla lista.
      • Gruppo di protezione di rete: selezionare il gruppo di protezione di rete desiderato dalla lista.
      • Endpoint di connessione inversa: immettere l'indirizzo IP dell'endpoint che si desidera utilizzare per la connessione inversa.
      • Nome dominio: immettere il nome dominio completamente qualificato (FQDN) dell'origine. Ad esempio:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      Nota

      Questa configurazione è necessaria solo per il servizio di streaming OCI privato e il Kafka autogestito. Nel caso di un servizio di streaming OCI pubblico, non selezionarne nessuno.
    7. Selezionare Esecuzione manuale per convalidare le configurazioni fornite.
      Una volta completata l'operazione, è possibile continuare con la creazione effettiva della pipeline.
    8. Selezionare Crea.

  • Utilizzare il comando oci opensearch pipeline create e i parametri necessari per creare una pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body è la configurazione del prepper dati in formato YAML. Il comando accetta la configurazione del prepper dati come stringa o all'interno di un file .yaml. Se si fornisce la configurazione come stringa, ogni nuova riga deve essere sfuggita con ".".

    pipeline-configuration-body è la configurazione della pipeline in formato YAML. Il comando accetta la configurazione della pipeline come stringa o all'interno di un file .yaml. Se si fornisce la configurazione come stringa, ogni nuova riga deve essere sfuggita con ".".

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

  • Eseguire l'operazione CreateOpensearchClusterPipeline per creare una pipeline.