El paquete DBMS_CLOUD_PIPELINE proporciona procedimientos para crear, configurar, probar e iniciar un pipeline. El ciclo de vida y los procedimientos del pipeline son los mismos para los pipelines de carga y exportación.

Para cualquiera de los tipos de pipeline, realice los siguientes pasos para crear y utilizar un pipeline:

1. Cree y configure el pipeline. Consulte Creación y configuración de pipelines para obtener más información.

2. Pruebe un nuevo pipeline. Consulte Pipelines de prueba para obtener más información.

3. Iniciar un pipeline. Consulte Inicio de un pipeline para obtener más información.

Además, puede supervisar, parar o borrar pipelines:

• Mientras se ejecuta un pipeline, ya sea durante las pruebas o durante el uso normal después de iniciar el pipeline, puede supervisar el pipeline. Consulte Supervisión y solución de problemas de pipelines para obtener más información.

• Puede parar un pipeline y volver a iniciarlo más tarde, o bien borrar un pipeline cuando haya terminado de utilizarlo. Consulte Parada de un pipeline y Borrado de un pipeline para obtener más información.

Un pipeline de carga funciona de la siguiente manera (algunas de estas funciones se pueden configurar mediante atributos de pipeline):

• Los archivos del almacén de objetos se cargan en paralelo en una tabla de base de datos.

  • Un pipeline de carga utiliza el nombre del archivo del almacén de objetos para identificar y cargar de forma única archivos más recientes.
  • Una vez que se haya cargado un archivo en el almacén de objetos en la tabla de la base de datos, si el contenido del archivo cambia en el almacén de objetos, no se volverá a cargar.
  • Si se suprime el archivo del almacén de objetos, no afecta a los datos de la tabla de base de datos.

• Si se detectan fallos, un pipeline de carga vuelve a intentar automáticamente la operación. Los reintentos se intentan en cada ejecución posterior del trabajo programado del pipeline.

• En los casos en los que los datos de un archivo no cumplen con la tabla de base de datos, se marca como FAILED y se puede revisar para depurar y solucionar el problema.

  • Si algún archivo no se carga, el pipeline no se para y continúa cargando los otros archivos.

• Los pipelines de carga soportan varios formatos de archivo de entrada, incluidos: JSON, CSV, XML, Avro, ORC y Parquet.

La migración de bases de datos que no sean de Oracle es un caso de uso posible para un pipeline de carga. Cuando necesite migrar los datos de una base de datos no Oracle a Oracle Autonomous Database, puede extraer los datos y cargarlos en Autonomous Database (el formato de Oracle Data Pump no se puede utilizar para migraciones desde bases de datos no Oracle). Al utilizar un formato de archivo genérico como CSV para exportar datos de una base de datos no Oracle, puede guardar los datos en archivos y cargar los archivos en el almacén de objetos. A continuación, cree un pipeline para cargar los datos en Autonomous Database. El uso de un pipeline de carga para cargar un gran juego de archivos CSV proporciona ventajas importantes, como la tolerancia a fallos y las operaciones de reanudación y reintento. Para una migración con un juego de datos grande, puede crear varios pipelines, uno por tabla para los archivos de base de datos que no sean de Oracle, para cargar datos en Autonomous Database.

Utilizar un pipeline de exportación para la exportación incremental continua de datos de la base de datos al almacén de objetos. Un pipeline de exportación identifica periódicamente los datos candidatos y carga los datos en el almacén de objetos.

Hay tres opciones de pipeline de exportación (las opciones de exportación se pueden configurar mediante atributos de pipeline):

• Exporte los resultados incrementales de una consulta al almacén de objetos mediante una columna de fecha o registro de hora como clave para realizar un seguimiento de los datos más recientes.

• Exporte los datos incrementales de una tabla al almacén de objetos mediante una columna de fecha o registro de hora como clave para realizar un seguimiento de los datos más recientes.

• Exporte los datos de una tabla al almacén de objetos mediante una consulta para seleccionar datos sin hacer referencia a una columna de fecha o registro de hora (para que el pipeline exporte todos los datos que la consulta seleccione para cada ejecución del programador).

Los pipelines de exportación tienen las siguientes funciones (algunas de ellas se pueden configurar mediante atributos de pipeline):

• Los resultados se exportan en paralelo al almacén de objetos.

• En caso de que se produzcan fallos, un trabajo de pipeline posterior repite la operación de exportación.

• Los pipelines de exportación soportan varios formatos de archivo de exportación, incluidos: CSV, JSON, Parquet o XML.

Autonomous Database proporciona pipelines incorporados para exportar logs al almacén de objetos. Estos pipelines están preconfigurados y los puede iniciar el usuario ADMIN.

Los pipelines con Mantenimiento de Oracle son:

• ORA$AUDIT_EXPORT: este pipeline exporta los logs de auditoría de la base de datos al almacén de objetos en formato JSON y se ejecuta cada 15 minutos después de iniciar el pipeline (según el valor del atributo interval).

• ORA$APEX_ACTIVITY_EXPORT: este pipeline exporta el log de actividad del espacio de trabajo de Oracle APEX al almacén de objetos en formato JSON. Este pipeline está preconfigurado con la consulta SQL para recuperar registros de actividad de APEX y se ejecuta cada 15 minutos después de iniciar el pipeline (según el valor del atributo interval).

Los pipelines mantenidos por Oracle son propiedad del usuario ADMIN y el usuario ADMIN puede modificar los atributos de los pipelines mantenidos por Oracle.

Por defecto, los pipelines mantenidos por Oracle utilizan OCI$RESOURCE_PRINCIPAL como credential_name.

Consulte Uso de pipelines con Mantenimiento de Oracle para obtener más información.