Documentação do Oracle Cloud Infrastructure

Criando um Pipeline OpenSearch

Crie um pipeline de OpenSearch para ingerir dados de log em um cluster de OpenSearch com Prepper de Dados.

Observação

Os nomes de índice OpenSearch devem seguir estas regras:
  • Todas as letras devem estar em letras minúsculas.
  • Os nomes não podem começar com um sublinhado ( _ ) ou hífen (-).
  • Os nomes não podem conter espaços, vírgulas ou qualquer um dos seguintes caracteres: :, ", *, +, /, \, |, ?, #, >, <
  • O nome do índice pode conter uma expressão prepper de dados.
Importante

Depois de criar um pipeline de ingestão de dados em um cluster OpenSearch, você só poderá excluir o cluster se tiver excluído primeiro todos os seus pipelines de ingestão de dados.
    1. Na página de lista Pipelines, selecione Criar pipeline. Se precisar de ajuda para localizar a página de lista, consulte Listando Pipelines OpenSearch.
    2. No painel Criar Pipeline, especifique as seguintes informações:
      • Nome do Pipeline: Informe o nome do pipeline.
      • Compartimento: Selecione na lista o compartimento que contém o pipeline.
      • Tags: Aplique quaisquer tags ao pipeline desejado. Consulte Visão Geral de Tags.
    3. Em YAML, selecione uma das seguintes opções de pipeline:
      • Obter: Selecione para extrair dados periodicamente de origens externas. Em seguida, selecione uma das opções de Tipo de origem correspondentes:
        • Serviço Object Storage.
        • Kafka. A seleção dessa opção exige que você forneça informações de configuração de rede posteriormente no processo de criação do pipeline.
      • Enviar: Selecione para receber dados por meio de um ponto final de ingestão. Em seguida, selecione uma das opções de Tipo de origem correspondentes:
        • HTTP
        • OpenTelemetry Logs
        • OpenTelemetry Métricas
        • OpenTelemetry Rastreamento
    4. Selecione Gerar YAML.
      Um esquema padrão é gerado na caixa YAML do Pipeline. Aqui você pode personalizá-lo para atender às suas necessidades.

      Para configurações YAML de coordenação de origem e Object Storage, consulte YAML de Coordenação de Origem e Object Storage.

      Para configurações do Kafka YAML, consulte Kafka YAML.

    5. Em Configuração de Hardware, especifique as seguintes informações:
      • Contagem de nós: Informe o número de nós entre 1 e 10.
      • OCPUs: informe o número de OCPUs entre 1 e 32.
      • Memória (GB): Informe a quantidade de membros em gigabytes entre 8 e 1024.
    6. Em Configuração de Rede, observe o seguinte:
      Essa configuração só é necessária para o serviço Private OCI Streaming e os pipelines Kafka e Push autogerenciados. Para o serviço Public OCI Streaming, selecione nenhum.

      Se a origem precisar de uma conexão reversa, configure os pipelines OpenSearch com uma conexão reversa para extrair os dados da origem de dados que reside na sua sub-rede. O provisionamento de conexão reversa é totalmente automático.

      Digite as seguintes informações:

      • Virtual Cloud Network in <compartment>: Selecione na lista a VCN (rede virtual na nuvem) no compartimento especificado que você deseja.
      • Sub-rede no <compartimento>: Selecione na lista a sub-rede para a VCN no compartimento especificado que você deseja.
      • Grupo de Segurança de Rede: Selecione na lista o Grupo de Segurança de Rede que você deseja.
      Observação

      A configuração a seguir só é necessária para o Serviço de Streaming Privado do OCI e o Kafka Autogerenciado. No caso do Serviço Público de Streaming do OCI, selecione nenhum.
      • Pontos Finais de Conexão Inversa: Informe o endereço IP do ponto final que você deseja usar para a conexão reversa.
      • Nome do Domínio: Informe o nome de domínio totalmente qualificado (FQDN) da sua origem. Por exemplo:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Selecione Execução Seca para validar as configurações fornecidas.
      Depois de ter sido bem-sucedido, você poderá continuar com a criação real do pipeline.
    8. Selecione Criar.

  • Use o comando oci opensearch pipeline create e os parâmetros necessários para criar um pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body é a configuração do prepper de dados no formato YAML. O comando aceita a configuração de preparação de dados como uma string ou em um arquivo .yaml. Se você fornecer a configuração como uma string, cada nova linha deverá ter escape com ".".

    pipeline-configuration-body é a configuração do pipeline no formato YAML. O comando aceita a configuração do pipeline como uma string ou em um arquivo .yaml. Se você fornecer a configuração como uma string, cada nova linha deverá ter escape com ".".

    Para ver uma lista completa de parâmetros e valores para comandos CLI, consulte a Referência de Comando CLI.

  • Execute a operação CreateOpensearchClusterPipeline para criar um pipeline.