Documentación de Oracle Cloud Infrastructure

Paquete DBMS_CLOUD_PIPELINE

El paquete DBMS_CLOUD_PIPELINE permite crear pipelines de datos para cargar y exportar datos en la nube. Este paquete soporta la carga de datos incremental continua de archivos en el almacén de objetos en la base de datos. DBMS_CLOUD_PIPELINE también soporta la exportación incremental continua de datos de tabla o resultados de consulta de la base de datos al almacén de objetos según una columna de registro de hora.

Tema principal: Referencia de paquete proporcionado por Autonomous Database

Resumen de los subprogramas DBMS_CLOUD_PIPELINE

En esta tabla, se resumen los subprogramas incluidos en el paquete DBMS_CLOUD_PIPELINE.

Nota

Puede utilizar el paquete DBMS_CLOUD_PIPELINE solo con las versiones 19.22 o posteriores de Autonomous Database.
Subprograma Descripción

Procedimiento CREATE_PIPELINE

Crea un nuevo pipeline de datos.

Procedimiento DROP_PIPELINE

Borra un pipeline de datos existente.

Procedimiento RESET_PIPELINE

Restablece el estado de seguimiento de un pipeline de datos. Utilice el pipeline de restablecimiento para reiniciar el pipeline desde el estado inicial de carga o exportación de datos. Opcionalmente, el pipeline de restablecimiento puede depurar datos en la base de datos o en el almacén de objetos, según el tipo de pipeline.

Procedimiento RUN_PIPELINE_ONCE

Realiza una ejecución bajo demanda del pipeline en la sesión de primer plano actual, en lugar de un trabajo programado.

Procedimiento SET_ATTRIBUTE

Define atributos de pipeline. Hay dos procedimientos sobrecargados, uno para definir un único atributo y otro para definir varios atributos mediante un documento JSON de pares nombre/valor de atributo

Procedimiento START_PIPELINE

Inicia el pipeline de datos. Cuando se inicia un pipeline, la operación de pipeline se ejecutará continuamente en un trabajo programado según el "intervalo" configurado en los atributos del pipeline.

Procedimiento STOP_PIPELINE

Para el pipeline de datos. Cuando se para un pipeline, no se programan trabajos futuros para el pipeline.
  • Procedimiento CREATE_PIPELINE
    El procedimiento crea un nuevo pipeline de datos.
  • Procedimiento DROP_PIPELINE
    El procedimiento borra un pipeline de datos existente. Si se ha iniciado un pipeline, se debe parar para que se pueda borrar.
  • Procedimiento RESET_PIPELINE
    Restablece el estado de seguimiento de un pipeline de datos. Utilice el pipeline de restablecimiento para reiniciar el pipeline desde el estado inicial de carga o exportación de datos. Opcionalmente, el pipeline de restablecimiento puede depurar datos en la base de datos o en el almacén de objetos, según el tipo de pipeline. Un pipeline de datos debe estar en estado parado para restablecerlo.
  • Procedimiento RUN_PIPELINE_ONCE
    Este procedimiento realiza una ejecución bajo demanda del pipeline en la sesión de primer plano actual, en lugar de una ejecución en un trabajo programado. Utilice DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE para probar un pipeline antes de iniciar el pipeline como un trabajo continuo.
  • Procedimiento SET_ATTRIBUTE
    Este procedimiento define atributos de pipeline. Hay dos procedimientos sobrecargados, uno para definir un único atributo y otro para definir varios atributos mediante un documento JSON de pares nombre/valor de atributo.
  • Procedimiento START_PIPELINE
    El procedimiento inicia el pipeline de datos. Cuando se inicia un pipeline, la operación de pipeline se ejecuta continuamente en un trabajo programado según el valor de interval configurado con los atributos de pipeline.
  • Procedimiento STOP_PIPELINE
    El procedimiento para el pipeline de datos. Cuando se para un pipeline, no se programan trabajos futuros para el pipeline.

Tema principal: Paquete DBMS_CLOUD_PIPELINE

Procedimiento CREATE_PIPELINE

El procedimiento crea un nuevo pipeline de datos.

Sintaxis

DBMS_CLOUD_PIPELINE.CREATE_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      pipeline_type        IN   VARCHAR2,
      attributes           IN   CLOB        DEFAULT NULL,
      description          IN   VARCHAR2    DEFAULT NULL
);

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline. El nombre del pipeline debe seguir las reglas de nomenclatura de los identificadores SQL de Oracle. Consulte Identificadores para obtener más información.

Este parámetro es obligatorio.

pipeline_type

Especifica el tipo de pipeline.

Valores válidos: LOAD, EXPORT

Este parámetro es obligatorio.

attributes

Atributos de pipeline en formato JSON.

Valor por defecto: NULL}

Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información.

description

Descripción del pipeline.

Valor por defecto: NULL}

Procedimiento DROP_PIPELINE

El procedimiento borra un pipeline de datos existente. Si se ha iniciado un pipeline, se debe parar para que se pueda borrar.

Sintaxis

DBMS_CLOUD_PIPELINE.DROP_PIPELINE(
       pipeline_name        IN   VARCHAR2,
       force                IN   BOOLEAN DEFAULT FALSE
 );

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre de pipeline.

Este parámetro es obligatorio.

force

Borrar forzosamente un pipeline, incluso si está en estado iniciado.

Valores válidos: TRUE, FALSE

Valor por defecto: FALSE}

Nota de Uso

  • Para borrar un pipeline que esté en estado iniciado, defina el parámetro force en TRUE.

Procedimiento RESET_PIPELINE

Restablece el estado de seguimiento de un pipeline de datos. Utilice el pipeline de restablecimiento para reiniciar el pipeline desde el estado inicial de carga o exportación de datos. Opcionalmente, el pipeline de restablecimiento puede depurar datos en la base de datos o en el almacén de objetos, según el tipo de pipeline. Un pipeline de datos debe estar en estado parado para restablecerlo.

Sintaxis

DBMS_CLOUD_PIPELINE.RESET_PIPELINE(
       pipeline_name        IN   VARCHAR2,
       purge_data           IN   BOOLEAN DEFAULT FALSE
 );

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline.

Este parámetro es obligatorio.

purge_data

La depuración de datos se aplica a un pipeline de carga o a un pipeline de exportación:

  • Para un pipeline de carga, cuando TRUE, trunque los datos en la tabla de base de datos.

  • Para un pipeline de exportación, cuando TRUE, suprima los archivos de la ubicación del almacén de objetos.

Valores válidos: TRUE, FALSE

Valor por defecto: FALSE}

Notas de Uso

  • Un pipeline de datos debe estar en estado parado para restablecerlo. Consulte el procedimiento STOP_PIPELINE para obtener más información.

  • Para un pipeline de carga, al restablecer el pipeline se borra el registro de los archivos que está cargando el pipeline. Al llamar a START_PIPELINE o RUN_PIPELINE_ONCE después de restablecer un pipeline de carga, el pipeline repite la carga de datos e incluye todos los archivos presentes en la ubicación del almacén de objetos.

    Cuando purge_data se define en TRUE, DBMS_CLOUD_PIPELINE.RESET_PIPELINE realiza lo siguiente:

    • Trunca los datos de la tabla de base de datos del pipeline que especifique con el atributo table_name.

    • Borra la tabla de estado del pipeline, la tabla de archivos incorrectos y la tabla de errores del pipeline (si existen).

  • Para un pipeline de exportación, al restablecer el pipeline se borran los últimos datos de los que se ha realizado un seguimiento en la tabla de base de datos. Al llamar a START_PIPELINE o RUN_PIPELINE_ONCE después de restablecer un pipeline de exportación, el pipeline repite la exportación de datos de la tabla o consulta.

    Cuando purge_data se define en TRUE, DBMS_CLOUD_PIPELINE.RESET_PIPELINE suprime los archivos existentes en la ubicación del almacén de objetos especificada con el atributo location.

Procedimiento RUN_PIPELINE_ONCE

Este procedimiento realiza una ejecución bajo demanda del pipeline en la sesión en primer plano actual, en lugar de una ejecución en un trabajo programado. Utilice DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE para probar un pipeline antes de iniciar el pipeline como un trabajo continuo.

Sintaxis

DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE(
       pipeline_name  IN  VARCHAR2
);

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline que se va a ejecutar.

Este parámetro es obligatorio.

Notas de Uso

  • Después de realizar una ejecución de prueba de un pipeline, puede restablecer el estado del pipeline mediante DBMS_CLOUD_PIPELINE.RESET_PIPELINE. Esto le permite restablecer el estado del pipeline antes de iniciar el pipeline en un trabajo programado.

  • Si un pipeline está en estado iniciado, no se puede ejecutar en la sesión en primer plano.

Procedimiento SET_ATTRIBUTE

Este procedimiento define atributos de pipeline. Hay dos procedimientos sobrecargados, uno para definir un único atributo y otro para definir varios atributos mediante un documento JSON de pares nombre/valor de atributo.

Sintaxis

PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
      pipeline_name        IN   VARCHAR2,
      attribute_name       IN   VARCHAR2,
      attribute_value      IN   CLOB
);
 
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
      pipeline_name        IN   VARCHAR2,
      attributes           IN   CLOB
);

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline para definir atributos.

Este parámetro es obligatorio.

attribute_name

Especifica el nombre de atributo para el atributo que se va a definir.

Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información.

attribute_value

Especifica el valor para el atributo de pipeline que se va a definir.

Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información.

attributes

Especifica un documento JSON que contiene nombres y valores de atributos.

Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información.

Nota de Uso

  • Al utilizar DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE para definir varios atributos con el parámetro attributes, se suprimen y sobrescriben todos los atributos existentes con los atributos especificados del documento JSON.

Procedimiento START_PIPELINE

El procedimiento inicia el pipeline de datos. Cuando se inicia un pipeline, la operación de pipeline se ejecuta continuamente en un trabajo programado según el valor de interval configurado con los atributos de pipeline.

Sintaxis

DBMS_CLOUD_PIPELINE.START_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      start_date           IN   TIMESTAMP WITH TIME ZONE DEFAULT NULL
);

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline.

Este parámetro es obligatorio.

start_date

Especifica la fecha de inicio del trabajo de pipeline.

Valor por defecto: NULL}

Notas de Uso

  • Por defecto, un trabajo de pipeline comienza inmediatamente, tan pronto como se inicia el pipeline. Para iniciar un trabajo de pipeline más adelante, especifique una fecha o un registro de hora válidos mediante el parámetro start_date.

  • Consulte Atributos de DBMS_CLOUD_PIPELINE para obtener información sobre el pipeline interval y otros atributos de pipeline.

Procedimiento STOP_PIPELINE

El procedimiento para el pipeline de datos. Cuando se para un pipeline, no se programan trabajos futuros para el pipeline.

Sintaxis

DBMS_CLOUD_PIPELINE.STOP_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      force                IN   BOOLEAN  DEFAULTFALSE
);

Parámetros

parámetro Descripción

pipeline_name

Especifica un nombre para el pipeline.

Este parámetro es obligatorio.

force

Si el parámetro force se transfiere como TRUE, terminará cualquier trabajo en ejecución para el pipeline.

Valores válidos: TRUE, FALSE

Valor por defecto: FALSE}

Atributos DBMS_CLOUD_PIPELINE

Los atributos ayudan a controlar y configurar el comportamiento de un pipeline de datos.

Atributos

Nota

Como se indica en la columna Tipo de pipeline, según el tipo de pipeline LOAD o EXPORT, un pipeline soporta un juego diferente de atributos.
Nombre de Atributo Descripción Tipo de pipeline Modificable tras el inicio del pipeline
credential_name

Nombre de la credencial para acceder al almacenamiento de objetos en la nube de origen.

Puede utilizar 'OCI$RESOURCE_PRINCIPAL' como credential_name cuando la entidad de recurso está activada. También se admiten las credenciales especificadas con lo siguiente: nombres de recursos de Amazon, entidad de servicio de Azure o cuenta de servicio de Google. Consulte Configuración de políticas y roles para acceder a recursos para obtener más información.

Valor por defecto: NULL.

Si no proporciona un credential_name, credential_name se define en NULL.

LOAD, EXPORT Si
field_list

Identifica los campos en los archivos de origen y sus tipos de datos. La sintaxis de este argumento es la misma que la cláusula field_list de las tablas externas normales de Oracle. Para obtener más información sobre field_list, consulte Oracle® Database Utilities.

Valor por defecto: NULL}

El valor por defecto especifica los campos y sus tipos de dato los determinan las columnas de la tabla especificada en el atributo table_name.

LOAD Si
format

Opciones que describen el formato para el tipo de pipeline.

El pump de datos format no está soportado para un pipeline de exportación.

Este atributo es obligatorio para los pipelines LOAD y EXPORT.

LOAD, EXPORT Si
interval

Intervalo de tiempo en minutos entre ejecuciones consecutivas del trabajo de pipeline programado.

Valor por defecto: 15 minutos

 LOAD, EXPORT Si
key_column

Una columna de fecha o registro de hora en el table o query especificado para exportar datos más recientes de forma continua al almacén de objetos. El pipeline de exportación realiza un seguimiento de la fecha o el registro de hora de la última ejecución y se compara con el valor de key_column para identificar los nuevos datos que se exportarán al almacén de objetos.

Valor por defecto: NULL

Si no se especifica key_column para un pipeline de exportación, todo el contenido de table o query se carga en el almacén de objetos en cada ejecución de trabajo de pipeline.

EXPORT No
location

Especifica un URI que apunta a una ubicación de Object Storage.

El formato del URI depende del servicio Cloud Object Storage. Consulte DBMS_CLOUD URI Formats para obtener más información.

Este atributo es obligatorio para los pipelines LOAD y EXPORT.

LOAD, EXPORT No
priority

Especifica un valor de cadena que determina el número de operaciones paralelas realizadas para el pipeline.

  • En un pipeline de carga, determina el número de archivos cargados en paralelo.

  • En un pipeline de exportación, determina el grado de paralelismo para recuperar datos de la base de datos.

Una operación con una prioridad más alta consume más recursos de base de datos y se completa antes.

Valores válidos:

  • HIGH: determina el número de archivos paralelos manejados mediante el recuento de ECPU de la base de datos (recuento de OCPU si la base de datos utiliza OCPU).
  • MEDIUM: determina el número de procesos simultáneos que utilizan el límite de simultaneidad para el servicio Medium. El valor por defecto es 4.
  • LOW: ejecute el trabajo de pipeline en orden de serie.

Valor por defecto: MEDIUM}

El número máximo de operaciones de archivos simultáneas está limitado a 64.

 LOAD, EXPORT Si
query

Especifica una sentencia SELECT para que solo se exporten los datos necesarios. La consulta determina el contenido de los archivos que exporta como archivos de texto (CSV, JSON, Parquet o XML) o archivos de volcado.

Por ejemplo:

SELECT warehouse_id, quantity FROM inventories

Valor por defecto: NULL}

Para un pipeline de exportación, table_name o query son obligatorios.

EXPORT No
table_name

Especifica el nombre de la tabla de destino para cargar o exportar datos.

Para un pipeline de carga, table_name es obligatorio.

Para un pipeline de exportación, table_name o query son obligatorios.

LOAD, EXPORT No
table_owner

Nombre del esquema en el que reside la tabla de destino para cargar o exportar datos.

Valor por defecto: NULL}

Con un valor NULL, la tabla de destino está en el mismo esquema que el usuario que ejecuta el procedimiento.

LOAD, EXPORT No

Tema principal: Paquete DBMS_CLOUD_PIPELINE

DBMS_CLOUD_PIPELINE Vistas

Tema principal: Paquete DBMS_CLOUD_PIPELINE