Paquete DBMS_CLOUD_PIPELINE
El paquete DBMS_CLOUD_PIPELINE
permite crear pipelines de datos para cargar y exportar datos en la nube. Este paquete soporta la carga de datos incremental continua de archivos en el almacén de objetos en la base de datos. DBMS_CLOUD_PIPELINE
también soporta la exportación incremental continua de datos de tabla o resultados de consulta de la base de datos al almacén de objetos según una columna de registro de hora.
Requisitos
Como desarrollador, puede utilizar procedimientos DBMS_CLOUD con instancias de Autonomous Database desplegadas en Oracle Public Cloud, Multicloud o Exadata Cloud@Customer.
En función de la opción de despliegue, se deben cumplir los siguientes requisitos para utilizar los procedimientos DBMS_CLOUD con los proveedores de servicios Amazon S3, Azure Blob Storage y Google Cloud Storage.
- Cree un gateway de NAT en la red virtual en la nube (VCN) en la que residan los recursos de Autonomous Database siguiendo las instrucciones de Creación de un gateway de NAT de la Documentación de Oracle Cloud Infrastructure.
- Después de crear el gateway de NAT, agregue una regla de ruta y una regla de seguridad de salida a cada subred (en la VCN) en la que residan los recursos de Autonomous Database para que estos recursos puedan utilizar el gateway para obtener una clave pública de la instancia de Azure AD:
- Vaya a la página Detalles de subred de la subred.
- En el separador Información de Subred, haga clic en el nombre de la Tabla de Direcciones de la subred para mostrar su página Detalles de Tabla de Direcciones.
- En la tabla de Reglas de ruta existentes, compruebe si ya hay una regla con las siguientes características:
- Destino: 0.0.0.0/0
- Tipo de destino: gateway de NAT
- Destino: nombre del gateway de NAT que acaba de crear en la VCN
Si dicha regla no existe, haga clic en Agregar reglas de ruta y agregue una regla de ruta con estas características.
- Vuelva a la página Detalles de subred de la subred.
- En la tabla Listas de seguridad de la subred, haga clic en el nombre de la lista de seguridad de la subred para mostrar su página Detalles de lista de seguridad.
- En el menú lateral, en Recursos, haga clic en Reglas de salida.
- En la tabla de Reglas de salida existentes, compruebe si ya hay una regla con las siguientes características:
- Tipo de destino: CIDR
- Destino: 0.0.0.0/0
- Protocolo IP: TCP
- Rango de puertos de origen: 443
- Rango de puertos de destino: todos
Si dicha regla no existe, haga clic en Agregar Reglas de Salida y agregue una regla de salida con estas características.
La configuración del proxy HTTP en el entorno debe permitir que la base de datos acceda al proveedor de servicios en la nube.
Note:
La configuración de red, incluido el proxy HTTP, solo se puede editar hasta que la infraestructura de Exadata tenga el estado Necesita activación. Una vez activada, no puede editar esa configuración.La configuración de un proxy HTTP para una infraestructura de Exadata ya aprovisionada necesita una solicitud de servicio (SR) en My Oracle Support. Consulte Creación de una solicitud de servicio en My Oracle Support para obtener más información.
Resumen de subprogramas DBMS_CLOUD_PIPELINE
En esta tabla, se resumen los subprogramas incluidos en el paquete DBMS_CLOUD_PIPELINE
.
Subprograma | Descripción |
---|---|
Crea un nuevo pipeline de datos. |
|
Borra un pipeline de datos existente. |
|
Restablece el estado de seguimiento de un pipeline de datos. Utilice el pipeline de restablecimiento para reiniciar el pipeline desde el estado inicial de carga o exportación de datos. Si lo desea, el pipeline de restablecimiento puede depurar datos en la base de datos o en el almacén de objetos, según el tipo de pipeline. |
|
Realiza una ejecución bajo demanda del pipeline en la sesión en primer plano actual, en lugar de un trabajo programado. |
|
Define atributos de pipeline. Hay dos procedimientos sobrecargados, uno para definir un solo atributo y otro para definir varios atributos mediante un documento JSON de pares de nombre/valor de atributo |
|
Inicia el pipeline de datos. Cuando se inicia un pipeline, la operación de pipeline se ejecutará continuamente en un trabajo programado según el "intervalo" configurado en los atributos de pipeline. |
|
Para el pipeline de datos. Cuando se para un pipeline, no se programan trabajos futuros para el pipeline. |
Procedimiento CREATE_PIPELINE
El procedimiento crea un nuevo pipeline de datos.
Sintaxis
DBMS_CLOUD_PIPELINE.CREATE_PIPELINE
(
pipeline_name IN VARCHAR2,
pipeline_type IN VARCHAR2,
attributes IN CLOB DEFAULT NULL,
description IN VARCHAR2 DEFAULT NULL
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para el pipeline. El nombre del pipeline debe seguir las reglas de nomenclatura de los identificadores SQL de Oracle. Consulte Identificadores en Referencia de lenguaje PL/SQL de Oracle Database Database o Referencia de lenguaje PL/SQL de Oracle Database 23ai Database para obtener más información. Este parámetro es obligatorio. |
|
Especifica el tipo de pipeline. Valores válidos: Este parámetro es obligatorio. |
|
Atributos de pipeline en formato JSON. Valor por defecto: Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información. |
|
Descripción del pipeline. Valor por defecto: |
Procedimiento DROP_PIPELINE
El procedimiento borra un pipeline de datos existente. Si se ha iniciado un pipeline, se debe parar para poder borrarlo.
Sintaxis
DBMS_CLOUD_PIPELINE.DROP_PIPELINE
(
pipeline_name IN VARCHAR2,
force IN BOOLEAN DEFAULT FALSE
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre de pipeline. Este parámetro es obligatorio. |
|
Borrar de forma forzada un pipeline, incluso si está en estado iniciado. Valores válidos: Valor por defecto: |
Notas de uso
-
Para borrar un pipeline que está en estado iniciado, defina el parámetro
force
enTRUE
.
Procedimiento RESET_PIPELINE
Restablece el estado de seguimiento de un pipeline de datos. Utilice el pipeline de restablecimiento para reiniciar el pipeline desde el estado inicial de carga o exportación de datos. Si lo desea, el pipeline de restablecimiento puede depurar datos en la base de datos o en el almacén de objetos, según el tipo de pipeline. Un pipeline de datos debe estar en estado parado para restablecerlo.
Sintaxis
DBMS_CLOUD_PIPELINE.RESET_PIPELINE
(
pipeline_name IN VARCHAR2,
purge_data IN BOOLEAN DEFAULT FALSE
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para el pipeline. Este parámetro es obligatorio. |
|
Los datos de depuración se aplican a un pipeline de carga o a un pipeline de exportación:
Valores válidos: Valor por defecto: |
Notas de uso
-
Un pipeline de datos debe estar en estado parado para restablecerlo. Consulte STOP_PIPELINE Procedimiento para obtener más información.
-
Para un pipeline de carga, al restablecer el pipeline se borra el registro de los archivos que está cargando el pipeline. Cuando llama a
START_PIPELINE
o aRUN_PIPELINE_ONCE
después de restablecer un pipeline de carga, el pipeline repite la carga de datos e incluye todos los archivos presentes en la ubicación del almacén de objetos.Cuando
purge_data
se define enTRUE
,DBMS_CLOUD_PIPELINE.RESET_PIPELINE
hace lo siguiente:-
Trunca los datos de la tabla de base de datos del pipeline que especifique con el atributo
table_name
. -
Borra la tabla de estado del pipeline, la tabla de archivos y la tabla de errores incorrectos del pipeline (si existen).
-
-
Para un pipeline de exportación, al restablecer el pipeline se borran los últimos datos con seguimiento de la tabla de la base de datos. Cuando llama a
START_PIPELINE
o aRUN_PIPELINE_ONCE
después de restablecer un pipeline de exportación, el pipeline repite la exportación de datos de la tabla o consulta.Cuando
purge_data
se define enTRUE
,DBMS_CLOUD_PIPELINE.RESET_PIPELINE
suprime los archivos existentes en la ubicación del almacén de objetos especificada con el atributolocation
.
Procedimiento RUN_PIPELINE_ONCE
Este procedimiento realiza una ejecución bajo demanda del pipeline en la sesión en primer plano actual, en lugar de una ejecución en un trabajo programado. Utilice DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE
para probar un pipeline antes de iniciar el pipeline como un trabajo continuo.
Sintaxis
DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE
(
pipeline_name IN VARCHAR2
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para la ejecución del pipeline. Este parámetro es obligatorio. |
Notas de uso
-
Después de realizar una ejecución de prueba de un pipeline, puede restablecer el estado del pipeline mediante
DBMS_CLOUD_PIPELINE.RESET_PIPELINE
. Esto le permite restablecer el estado del pipeline antes de iniciar el pipeline en un trabajo programado. -
Si un pipeline está en estado iniciado, no se puede ejecutar en la sesión de primer plano.
Procedimiento SET_ATTRIBUTE
Este procedimiento define atributos de pipeline. Hay dos procedimientos sobrecargados, uno para definir un solo atributo y otro para definir varios atributos mediante un documento JSON de pares de nombre/valor de atributo.
Sintaxis
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name IN VARCHAR2,
attribute_name IN VARCHAR2,
attribute_value IN CLOB
);
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name IN VARCHAR2,
attributes IN CLOB
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para que el pipeline defina atributos. Este parámetro es obligatorio. |
|
Especifica el nombre de atributo para el atributo que se va a definir. Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información. |
attribute_value |
Especifica el valor para el atributo de pipeline que se va a definir. Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información. |
|
Especifica un documento JSON que contiene nombres y valores de atributos. Consulte DBMS_CLOUD_PIPELINE Attributes para obtener más información. |
Notas de uso
-
Al utilizar
DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
para definir varios atributos con el parámetroattributes
, todos los atributos existentes se suprimen y sobrescriben con los atributos especificados del documento JSON.
Procedimiento START_PIPELINE
interval
configurado con los atributos de pipeline.
Sintaxis
DBMS_CLOUD_PIPELINE.START_PIPELINE
(
pipeline_name IN VARCHAR2,
start_date IN TIMESTAMP WITH TIME ZONE DEFAULT NULL
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para el pipeline. Este parámetro es obligatorio. |
|
Especifica la fecha de inicio del trabajo de pipeline. Valor por defecto: |
Notas de uso
-
Por defecto, un trabajo de pipeline comienza inmediatamente, tan pronto como se inicia el pipeline. Para iniciar un trabajo de pipeline más tarde, especifique una fecha o un registro de hora válidos mediante el parámetro
start_date
. -
Consulte Atributos de DBMS_CLOUD_PIPELINE para obtener información sobre el pipeline
interval
y otros atributos de pipeline.
Procedimiento STOP_PIPELINE
El procedimiento para el pipeline de datos. Cuando se para un pipeline, no se programan trabajos futuros para el pipeline.
Sintaxis
DBMS_CLOUD_PIPELINE.STOP_PIPELINE
(
pipeline_name IN VARCHAR2,
force IN BOOLEAN DEFAULTFALSE
);
Parámetros
parámetro | Descripción |
---|---|
|
Especifica un nombre para el pipeline. Este parámetro es obligatorio. |
|
Si se transfiere el parámetro force como Valores válidos: Valor por defecto: |
Atributos DBMS_CLOUD_PIPELINE
Los atributos ayudan a controlar y configurar el comportamiento de un pipeline de datos.
Atributos
Note:
Como se indica en la columna Tipo de pipeline, según el tipo de pipelineLOAD
o EXPORT
, un pipeline soporta un juego diferente de atributos.
Nombre del atributo | Descripción | Tipo de pipeline | Modificable después de que se inicie el pipeline |
---|---|---|---|
credential_name |
Nombre de la credencial para acceder a Cloud Object Storage de origen. Valor por defecto: Si no proporciona |
LOAD , EXPORT |
Sí |
field_list |
Identifica los campos en los archivos de origen y sus tipos de datos. La sintaxis de este argumento es la misma que la cláusula Valor por defecto: El valor por defecto especifica los campos y sus tipos de dato vienen determinados por las columnas de la tabla especificada en el atributo |
LOAD |
Sí |
format |
Opciones que describen el formato del tipo de pipeline.
El pump de datos Este atributo es obligatorio para los pipelines |
LOAD , EXPORT |
Sí |
interval |
Intervalo de tiempo en minutos entre ejecuciones consecutivas del trabajo de pipeline programado. Valor predeterminado: 15 minutos |
LOAD , EXPORT |
Sí |
key_column |
Una columna de fecha o registro de hora en Valor por defecto: NULL Si no se especifica |
EXPORT |
N.º |
location |
Especifica un URI que apunta a una ubicación de Object Storage. El formato del URI depende del servicio Cloud Object Storage. Consulte Formatos de URI de almacenamiento de objetos en la nube para obtener más información. Este atributo es obligatorio para los pipelines |
LOAD , EXPORT |
N.º |
priority |
Especifica un valor de cadena que determina el número de operaciones paralelas realizadas para el pipeline.
Una operación con mayor prioridad consume más recursos de base de datos y se completa antes. Éstos son los valores válidos:
Valor por defecto: El número máximo de operaciones de archivos simultáneas está limitado a 64. |
LOAD , EXPORT |
Sí |
query |
Especifica una sentencia Por ejemplo:
Valor por defecto: Para un pipeline de exportación, |
EXPORT |
N.º |
table_name |
Especifica el nombre de la tabla de destino para cargar o exportar datos. Para un pipeline de carga, Para un pipeline de exportación, |
LOAD , EXPORT |
N.º |
table_owner |
Nombre del esquema en el que reside la tabla de destino para cargar o exportar datos. Valor por defecto: Con un valor |
LOAD , EXPORT |
N.º |