Documentación de Oracle Cloud Infrastructure

Creación de un pipeline OpenSearch

Cree un pipeline OpenSearch para ingerir datos de log en un cluster OpenSearch con Data Prepper.

    1. En la página de lista Pipelines, seleccione Crear pipeline. Si necesita ayuda para buscar la página de lista, consulte Listado de pipelines OpenSearch.
    2. En el panel Crear pipeline, introduzca la siguiente información:
      • Nombre de pipeline: introduzca el nombre del pipeline.
      • Compartimento: seleccione en la lista el compartimento que contiene el pipeline.
      • Etiquetas: aplique las etiquetas al pipeline que desee. Consulte Visión general de Tagging.
    3. En YAML, seleccione una de las siguientes opciones de Tipo de origen:
      • Almacenamiento de objetos.
      • Kafka. Si selecciona esta opción, deberá proporcionar información de configuración de red más adelante en el proceso de creación del pipeline.
    4. Seleccione Generar YAML.
      Se genera un esquema por defecto en el cuadro YAML de pipeline. Aquí puedes personalizarlo para satisfacer tus necesidades.

      Para conocer las configuraciones de YAML de Object Storage y coordinación de origen, consulte YAML de Object Storage y coordinación de origen.

      Para conocer las configuraciones de Kafka YAML, consulte Kafka YAML.

    5. En Configuración de hardware, introduzca la siguiente información:
      • Recuento de nodos: introduzca el número de nodos entre 1 y 10.
      • OCPU: introduzca el número de OCPU entre 1 y 32.
      • Memoria (GB): introduzca la cantidad de miembros en gigabytes entre 8 y 1024.
    6. (Sólo tipo de origen de Kafka) En Network Configuration, tenga en cuenta lo siguiente:
      Esta configuración solo es necesaria para el servicio OCI Streaming privado y Kafka autogestionado. Para el servicio público OCI Streaming, seleccione ninguno.

      Si el origen necesita una conexión inversa, debe configurar los pipelines OpenSearch con una conexión inversa para extraer los datos del origen de datos que reside en la subred. El aprovisionamiento de conexión inversa es totalmente automático.

      Introduzca la siguiente información::

      • Red virtual en la nube en <compartment>: seleccione en la lista la red virtual de la nube (VCN) en el compartimento especificado que desea.
      • Subred en <compartment>: seleccione en la lista la subred de la VCN en el compartimento especificado que desea.
      • Grupo de Seguridad de Red: seleccione en la lista el Grupo de Seguridad de Red que desee.
      • Puntos finales de conexión inversa: introduzca la dirección IP del punto final que desea utilizar para la conexión inversa.
      • Nombre de dominio: introduzca el nombre de dominio completo (FQDN) del origen. Por ejemplo:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      Nota

      Esta configuración solo es necesaria para el servicio de transmisión de OCI privado y Kafka autogestionado. En caso de servicio público de transmisión de OCI, no seleccione ninguno.
    7. Seleccione Ejecutar en seco para validar las configuraciones proporcionadas.
      Una vez que se haya realizado correctamente, puede continuar con la creación real del pipeline.
    8. Seleccione Crear.

  • Utilice el comando oci opensearch pipeline create y los parámetros necesarios para crear un pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body es la configuración del preparador de datos en formato YAML. El comando acepta la configuración del preparador de datos como una cadena o dentro de un archivo .yaml. Si proporciona la configuración como una cadena, cada línea nueva debe identificarse con ".".

    pipeline-configuration-body es la configuración de pipeline en formato YAML. El comando acepta la configuración de pipeline como una cadena o dentro de un archivo .yaml. Si proporciona la configuración como una cadena, cada línea nueva debe identificarse con ".".

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateOpensearchClusterPipeline para crear un pipeline.