Documentação do Oracle Cloud Infrastructure

Criando um Pipeline OpenSearch

Crie um pipeline de OpenSearch para ingerir dados de log em um cluster de OpenSearch com Prepper de Dados.

    1. Na página de lista Pipelines, selecione Criar pipeline. Se precisar de ajuda para localizar a página de lista, consulte Listando Pipelines OpenSearch.
    2. No painel Criar Pipeline, especifique as seguintes informações:
      • Nome do Pipeline: Informe o nome do pipeline.
      • Compartimento: Selecione na lista o compartimento que contém o pipeline.
      • Tags: Aplique quaisquer tags ao pipeline desejado. Consulte Visão Geral de Tags.
    3. Em YAML, selecione uma das seguintes opções de Tipo de Origem:
      • Serviço Object Storage.
      • Kafka. A seleção dessa opção exige que você forneça informações de configuração de rede posteriormente no processo de criação do pipeline.
    4. Selecione Gerar YAML.
      Um esquema padrão é gerado na caixa YAML do Pipeline. Aqui você pode personalizá-lo para atender às suas necessidades.

      Para configurações YAML de coordenação de origem e Object Storage, consulte YAML de Coordenação de Origem e Object Storage.

      Para configurações do Kafka YAML, consulte Kafka YAML.

    5. Em Configuração de Hardware, especifique as seguintes informações:
      • Contagem de nós: Informe o número de nós entre 1 e 10.
      • OCPUs: informe o número de OCPUs entre 1 e 32.
      • Memória (GB): Informe a quantidade de membros em gigabytes entre 8 e 1024.
    6. (Somente o tipo de origem Kafka) Em Configuração de Rede, observe o seguinte:
      Essa configuração só é necessária para o serviço Private OCI Streaming e o Kafka Autogerenciado. Para o serviço Public OCI Streaming, selecione nenhum.

      Se a origem precisar de uma conexão reversa, configure os pipelines OpenSearch com uma conexão reversa para extrair os dados da origem de dados que reside na sua sub-rede. O provisionamento de conexão reversa é totalmente automático.

      Digite as seguintes informações::

      • Virtual Cloud Network in <compartment>: Selecione na lista a VCN (rede virtual na nuvem) no compartimento especificado que você deseja.
      • Sub-rede no <compartimento>: Selecione na lista a sub-rede para a VCN no compartimento especificado que você deseja.
      • Grupo de Segurança de Rede: Selecione na lista o Grupo de Segurança de Rede que você deseja.
      • Pontos Finais de Conexão Inversa: Informe o endereço IP do ponto final que você deseja usar para a conexão reversa.
      • Nome do Domínio: Informe o nome de domínio totalmente qualificado (FQDN) da sua origem. Por exemplo:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      Observação

      Essa configuração só é necessária para o Serviço de Streaming Privado do OCI e o Kafka Autogerenciado. No caso do Serviço Público de Streaming do OCI, selecione nenhum.
    7. Selecione Execução Seca para validar as configurações fornecidas.
      Depois de ter sido bem-sucedido, você poderá continuar com a criação real do pipeline.
    8. Selecione Criar.

  • Use o comando oci opensearch pipeline create e os parâmetros necessários para criar um pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body é a configuração do prepper de dados no formato YAML. O comando aceita a configuração de preparação de dados como uma string ou dentro de um arquivo .yaml. Se você fornecer a configuração como uma string, cada nova linha deverá ter escape com ".".

    pipeline-configuration-body é a configuração do pipeline no formato YAML. O comando aceita a configuração do pipeline como uma string ou dentro de um arquivo .yaml. Se você fornecer a configuração como uma string, cada nova linha deverá ter escape com ".".

    Para ver uma lista completa de parâmetros e valores para comandos CLI, consulte a Referência de Comando CLI.

  • Execute a operação CreateOpensearchClusterPipeline para criar um pipeline.