Creación y configuración de pipeline
Puede crear uno o más pipelines de carga o exportación. Al crear un pipeline, utiliza parámetros y define atributos de pipeline para configurar el pipeline.
Las opciones para crear y configurar un pipeline son las siguientes:
-
Cargar pipeline:
-
Pipeline de exportación:
-
Exporte los resultados incrementales de una consulta al almacén de objetos mediante una columna de fecha o registro de hora como clave para realizar un seguimiento de los datos más recientes. Consulte Creación y configuración de un pipeline para la exportación con columna de registro de hora.
-
Exporte los datos incrementales de una tabla al almacén de objetos mediante una columna de fecha o registro de hora como clave para realizar un seguimiento de los datos más recientes. Consulte Creación y configuración de un pipeline para la exportación con columna de registro de hora.
-
Exporte los datos de una tabla al almacén de objetos mediante una consulta para seleccionar datos sin hacer referencia a una columna de fecha o registro de hora (para que el pipeline exporte todos los datos que la consulta seleccione para cada ejecución del programador). Consulte Creación y configuración de un pipeline para exportar resultados de consultas (sin registro de hora).
-
- Creación y configuración de un pipeline para cargar datos
Puede crear un pipeline para cargar datos de archivos externos en el almacén de objetos en tablas de Autonomous Database. - Creación y configuración de un pipeline para la exportación con columna de registro de hora
Puede crear un pipeline de exportación para exportar automáticamente datos de serie temporal de Autonomous Database al almacén de objetos. - Creación y configuración de un pipeline para exportar resultados de consultas (sin registro de hora)
Puede crear un pipeline de exportación para exportar datos automáticamente de Autonomous Database al almacén de objetos. Con esta opción de pipeline de exportación, especifique una consulta SQL que el pipeline ejecute periódicamente para exportar datos al almacén de objetos. Puede utilizar esta opción de exportación para compartir los datos más recientes de Autonomous Database en el almacén de objetos para que otras aplicaciones consuman los datos.
Tema principal: Uso de pipelines de datos para carga y exportación continuas
Creación y configuración de un pipeline para la carga de datos
Puede crear un pipeline para cargar datos de archivos externos en el almacén de objetos en tablas de Autonomous Database.
Un pipeline de carga consume los datos colocados en el almacén de objetos y los carga en una tabla de Autonomous Database. Al crear un pipeline de carga, el pipeline se ejecuta a intervalos regulares para consumir datos colocados en el almacén de objetos, cuando llegan nuevos archivos de datos, el pipeline carga los nuevos datos. También puede utilizar un pipeline para copiar archivos de forma fiable, con capacidades de reanudación y reintento, del almacén de objetos a una tabla de la base de datos.
Con un pipeline de carga, el paquete de pipeline utiliza DBMS_CLOUD.COPY_DATA
para cargar datos.
En Autonomous Database, utilice una tabla existente o cree la tabla de base de datos en la que está cargando datos. Por ejemplo:
CREATE TABLE EMPLOYEE
(name VARCHAR2(128),
age NUMBER,
salary NUMBER);
Como alternativa, para definir el formato para JSON, puede utilizar el siguiente formato:
BEGIN
DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name => 'MY_PIPE1',
attribute_name => 'format',
attribute_value => JSON_OBJECT('type' value 'json', 'columnpath' value '["$.NAME", "$.AGE", "$.SALARY"]')
);
END;
/
Tema principal: Creación y configuración de pipelines
Creación y configuración de un pipeline para la exportación con columna de registro de hora
Con esta opción de pipeline de exportación, especifique una tabla o una consulta SQL y una columna con un registro de hora que el pipeline utiliza para realizar un seguimiento de la hora de la última carga. Puede utilizar un pipeline de exportación para compartir datos para que los utilicen otras aplicaciones o para guardar datos en el almacén de objetos.
Con un pipeline de exportación, el paquete de pipeline utiliza DBMS_CLOUD.EXPORT_DATA
para exportar datos.
Un pipeline de exportación exporta datos de Autonomous Database al almacén de objetos. Al crear un pipeline de exportación, el pipeline se ejecuta a intervalos regulares y coloca los datos en el almacén de objetos.
Tema principal: Creación y configuración de pipelines
Creación y configuración de un pipeline para exportar resultados de consultas (sin registro de hora)
Puede crear un pipeline de exportación para exportar datos automáticamente de Autonomous Database al almacén de objetos. Con esta opción de pipeline de exportación, especifique una consulta SQL que el pipeline ejecute periódicamente para exportar datos al almacén de objetos. Puede utilizar esta opción de exportación para compartir los datos más recientes de Autonomous Database en el almacén de objetos para que otras aplicaciones consuman los datos.
Un pipeline de exportación exporta datos de Autonomous Database al almacén de objetos. Al crear un pipeline de exportación, el pipeline se ejecuta a intervalos regulares y coloca los datos en el almacén de objetos.
Tema principal: Creación y configuración de pipelines