Pacote DBMS_CLOUD_PIPELINE
O pacote DBMS_CLOUD_PIPELINE
permite criar pipelines de dados para carregar e exportar dados na nuvem. Este pacote suporta carregamento de dados incremental contínuo de arquivos no armazenamento de objetos no banco de dados. DBMS_CLOUD_PIPELINE
também suporta exportação incremental contínua de dados de tabela ou resultados de consulta do banco de dados para o armazenamento de objetos com base em uma coluna de timestamp.
Pré-requisitos
Como desenvolvedor, você pode usar procedimentos DBMS_CLOUD com Autonomous Databases implantados no Oracle Public Cloud, Multicloud ou Exadata Cloud@Customer.
Dependendo da opção de implantação, os pré-requisitos a seguir devem ser atendidos para usar os procedimentos DBMS_CLOUD com provedores de serviços Amazon S3, Azure Blob Storage e Google Cloud Storage.
- Crie um gateway NAT na Rede Virtual na Nuvem (VCN) em que seus recursos do Autonomous Database residem seguindo as instruções em Criar um Gateway NAT na Documentação do Oracle Cloud Infrastructure.
- Após criar o gateway NAT, adicione uma regra de roteamento e uma regra de segurança de saída a cada sub-rede (na VCN) na qual os recursos do Autonomous Database residem para que esses recursos possam usar o gateway para obter uma chave pública da sua instância do Azure AD:
- Vá para a página Detalhes da Sub-rede da sub-rede.
- Na guia Informações da Sub-rede, clique no nome da Tabela de Rota da sub-rede para exibir sua respectiva página Detalhes da Tabela de Rota.
- Na tabela de Regras de Roteamento existentes, verifique se já existe uma regra com as seguintes características:
- Destino: 0.0.0.0/0
- Tipo de Destino: Gateway NAT
- Alvo: O nome do gateway NAT recém-criado na VCN
Se essa regra não existir, clique em Adicionar Regras de Rota e adicione uma regra de roteamento com essas características.
- Retorne à página Detalhes da Sub-rede da sub-rede.
- Na tabela Listas de Segurança da sub-rede, clique no nome da lista de segurança da sub-rede para exibir a página Detalhes da Lista de Segurança.
- No menu lateral, em Recursos, clique em Regras de Saída.
- Na tabela de Regras de Saída existentes, verifique se já existe uma regra com as seguintes características:
- Tipo de Destino: CIDR
- Destino: 0.0.0.0/0
- Protocolo IP: TCP
- Faixa de Portas de Origem: 443
- Faixa de Portas de Destino: Todas
Se essa regra não existir, clique em Adicionar Regras de Saída e adicione uma regra de saída com essas características.
As definições de Proxy HTTP em seu ambiente devem permitir que o banco de dados acesse o provedor de serviços em nuvem.
Observação:
A configuração de rede, incluindo o Proxy HTTP, só poderá ser editada até que o Exadata Infrastructure esteja no estado Exige Ativação. Depois de ativado, você não poderá editar essas configurações.A configuração de um Proxy HTTP para uma Infraestrutura do Exadata já provisionada precisa de uma Solicitação de Serviço (SR) no My Oracle Support. Consulte Criar uma Solicitação de Serviço no My Oracle Support para obter detalhes.
Resumo de Subprogramas DBMS_CLOUD_PIPELINE
Esta tabela resume os subprogramas incluídos no pacote DBMS_CLOUD_PIPELINE
.
Subprograma | Descrição |
---|---|
Cria um novo pipeline de dados. |
|
Elimina um pipeline de dados existente. |
|
Redefine o estado de rastreamento de um pipeline de dados. Use redefinir pipeline para reiniciar o pipeline a partir do estado inicial da carga de dados ou exportação. Opcionalmente, a redefinição do pipeline pode expurgar dados no banco de dados ou no armazenamento de objetos, dependendo do tipo de pipeline. |
|
Executa uma execução sob demanda do pipeline na sessão de primeiro plano atual, em vez de um job programado. |
|
Define atributos de pipeline. Há dois procedimentos sobrecarregados, um para definir um único atributo e outro para definir vários atributos usando um documento JSON de pares de nome/valor de atributo |
|
Inicia o pipeline de dados. Quando um pipeline for iniciado, a operação do pipeline será executada continuamente em um job programado de acordo com o "intervalo" configurado nos atributos do pipeline. |
|
Interrompe o pipeline de dados. Quando um pipeline é interrompido, nenhum job futuro é programado para o pipeline. |
Procedimento CREATE_PIPELINE
O procedimento cria um novo pipeline de dados.
Sintaxe
DBMS_CLOUD_PIPELINE.CREATE_PIPELINE
(
pipeline_name IN VARCHAR2,
pipeline_type IN VARCHAR2,
attributes IN CLOB DEFAULT NULL,
description IN VARCHAR2 DEFAULT NULL
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline. O nome do pipeline deve seguir as regras de nomenclatura dos identificadores SQL da Oracle. Consulte Identificadores em Referência de Linguagem PL/SQL do Oracle Database Database ou Referência de Linguagem PL/SQL do Oracle Database 23ai Database para obter mais informações. Esse parâmetro é obrigatório. |
|
Especifica o tipo de pipeline. Valores válidos: Esse parâmetro é obrigatório. |
|
Atributos de pipeline no formato JSON. Valor padrão: Consulte DBMS_CLOUD_PIPELINE Atributos para obter mais informações. |
|
Descrição do pipeline. Valor padrão: |
Procedimento DROP_PIPELINE
O procedimento elimina um pipeline de dados existente. Se um pipeline tiver sido iniciado, ele deverá ser interrompido para poder ser eliminado.
Sintaxe
DBMS_CLOUD_PIPELINE.DROP_PIPELINE
(
pipeline_name IN VARCHAR2,
force IN BOOLEAN DEFAULT FALSE
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome de pipeline. Esse parâmetro é obrigatório. |
|
Elimine à força um pipeline, mesmo que ele esteja no estado iniciado. Valores válidos: Valor padrão: |
Observações de Uso
-
Para eliminar um pipeline que está no estado iniciado, defina o parâmetro
force
comoTRUE
.
Procedimento RESET_PIPELINE
Redefine o estado de rastreamento de um pipeline de dados. Use redefinir pipeline para reiniciar o pipeline a partir do estado inicial da carga de dados ou exportação. Opcionalmente, a redefinição do pipeline pode expurgar dados no banco de dados ou no armazenamento de objetos, dependendo do tipo de pipeline. Um pipeline de dados deve estar no estado interrompido para redefini-lo.
Sintaxe
DBMS_CLOUD_PIPELINE.RESET_PIPELINE
(
pipeline_name IN VARCHAR2,
purge_data IN BOOLEAN DEFAULT FALSE
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline. Esse parâmetro é obrigatório. |
|
Os dados de expurgação se aplicam a um pipeline de carga ou de exportação:
Valores válidos: Valor padrão: |
Observações sobre Uso
-
Um pipeline de dados deve estar no estado interrompido para redefini-lo. Consulte STOP_PIPELINE Procedimento para obter mais informações.
-
Para um pipeline de carga, a redefinição do pipeline limpa o registro dos arquivos que estão sendo carregados pelo pipeline. Quando você chama
START_PIPELINE
ouRUN_PIPELINE_ONCE
após redefinir um pipeline de carga, o pipeline repete a carga de dados e inclui todos os arquivos presentes no local de armazenamento de objetos.Quando
purge_data
é definido comoTRUE
,DBMS_CLOUD_PIPELINE.RESET_PIPELINE
faz o seguinte:-
Trunca os dados na tabela de banco de dados do pipeline especificada com o atributo
table_name
. -
Elimina a tabela de status do pipeline, a tabela de arquivos inválidos e a tabela de erros do pipeline (se existirem).
-
-
Para um pipeline de exportação, a redefinição do pipeline limpa os últimos dados rastreados na tabela do banco de dados. Quando você chama
START_PIPELINE
ouRUN_PIPELINE_ONCE
após redefinir um pipeline de exportação, o pipeline repete a exportação de dados da tabela ou da consulta.Quando
purge_data
é definido comoTRUE
,DBMS_CLOUD_PIPELINE.RESET_PIPELINE
exclui arquivos existentes no local de armazenamento de objetos especificado com o atributolocation
.
Procedimento RUN_PIPELINE_ONCE
Este procedimento executa uma execução sob demanda do pipeline na sessão de primeiro plano atual, em vez de uma execução em um job programado. Use DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE
para testar um pipeline antes de iniciar o pipeline como um job contínuo.
Sintaxe
DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE
(
pipeline_name IN VARCHAR2
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline a ser executado. Esse parâmetro é obrigatório. |
Observações sobre Uso
-
Depois de executar uma execução de teste de um pipeline, você poderá redefinir o estado do pipeline usando
DBMS_CLOUD_PIPELINE.RESET_PIPELINE
. Isso permite redefinir o estado do pipeline antes de iniciar o pipeline em um job programado. -
Se um pipeline estiver no estado iniciado, ele não poderá ser executado na sessão em primeiro plano.
Procedimento SET_ATTRIBUTE
Este procedimento define atributos de pipeline. Há dois procedimentos sobrecarregados, um para definir um único atributo e outro para definir vários atributos usando um documento JSON de pares de nome/valor de atributo.
Sintaxe
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name IN VARCHAR2,
attribute_name IN VARCHAR2,
attribute_value IN CLOB
);
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name IN VARCHAR2,
attributes IN CLOB
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline definir atributos. Esse parâmetro é obrigatório. |
|
Especifica o nome do atributo a ser definido. Consulte DBMS_CLOUD_PIPELINE Atributos para obter mais informações. |
attribute_value |
Especifica o valor do atributo do pipeline a ser definido. Consulte DBMS_CLOUD_PIPELINE Atributos para obter mais informações. |
|
Especifica um documento JSON contendo nomes e valores de atributos. Consulte DBMS_CLOUD_PIPELINE Atributos para obter mais informações. |
Observações de Uso
-
Quando você usa
DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
para definir vários atributos com o parâmetroattributes
, todos os atributos existentes são excluídos e substituídos pelos atributos especificados do documento JSON.
Procedimento START_PIPELINE
interval
configurado com os atributos de pipeline.
Sintaxe
DBMS_CLOUD_PIPELINE.START_PIPELINE
(
pipeline_name IN VARCHAR2,
start_date IN TIMESTAMP WITH TIME ZONE DEFAULT NULL
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline. Esse parâmetro é obrigatório. |
|
Especifica a data inicial do job de pipeline. Valor padrão: |
Observações sobre Uso
-
Por padrão, um job de pipeline começa imediatamente, assim que o pipeline é iniciado. Para iniciar um job de pipeline posteriormente, especifique uma data ou um timestamp válido usando o parâmetro
start_date
. -
Consulte Atributos DBMS_CLOUD_PIPELINE para obter informações sobre o pipeline
interval
e outros atributos de pipeline.
Procedimento STOP_PIPELINE
O procedimento interrompe o pipeline de dados. Quando um pipeline é interrompido, nenhum job futuro é programado para o pipeline.
Sintaxe
DBMS_CLOUD_PIPELINE.STOP_PIPELINE
(
pipeline_name IN VARCHAR2,
force IN BOOLEAN DEFAULTFALSE
);
Parâmetros
Parâmetro | Descrição |
---|---|
|
Especifica um nome para o pipeline. Esse parâmetro é obrigatório. |
|
Se o parâmetro force for especificado como Valores válidos: Valor padrão: |
DBMS_CLOUD_PIPELINE Atributos
Os atributos ajudam a controlar e configurar o comportamento de um pipeline de dados.
Atributos
Observação:
Conforme indicado na coluna Tipo de Pipeline, dependendo do tipo de pipelineLOAD
ou EXPORT
, um pipeline suporta outro conjunto de atributos.
Nome do Atributo | Descrição | Tipo de Pipeline | Modificável Após Início do Pipeline |
---|---|---|---|
credential_name |
O nome da credencial para acessar o Cloud Object Storage de origem. Valor padrão: Se você não fornecer um |
LOAD , EXPORT |
Sim |
field_list |
Identifica os campos nos arquivos de origem e seus tipos de dados. A sintaxe desse argumento é a mesma da cláusula Valor padrão: O valor padrão especifica os campos e seus tipos de dados são determinados pelas colunas na tabela especificada no atributo |
LOAD |
Sim |
format |
As opções que descrevem o formato do tipo de pipeline.
O Datapump Esse atributo é obrigatório para os pipelines |
LOAD , EXPORT |
Sim |
interval |
O intervalo de tempo em minutos entre execuções consecutivas do job de pipeline programado. Valor padrão: 15 minutos |
LOAD , EXPORT |
Sim |
key_column |
Uma coluna de timestamp ou data no Valor padrão: NULO Se |
EXPORT |
No |
location |
Especifica um URI que aponta para um local de Armazenamento de Objetos. O formato do URI depende do serviço Cloud Object Storage. Consulte Formatos de URI do Cloud Object Storage para obter mais informações. Esse atributo é obrigatório para os pipelines |
LOAD , EXPORT |
No |
priority |
Especifica um valor de string que determina o número de operações paralelas executadas para o pipeline.
Uma operação com prioridade mais alta consome mais recursos de banco de dados e é concluída mais cedo. Valores válidos:
Valor padrão: O número máximo de operações de arquivo simultâneas é limitado a 64. |
LOAD , EXPORT |
Sim |
query |
Especifica uma instrução Por exemplo:
Valor padrão: Para um pipeline de exportação, |
EXPORT |
No |
table_name |
Especifica o nome da tabela de destino para carregar ou exportar dados. Para um pipeline de carga, Para um pipeline de exportação, |
LOAD , EXPORT |
No |
table_owner |
O nome do esquema em que a tabela de destino reside para carregar ou exportar dados. Valor padrão: Com um valor |
LOAD , EXPORT |
No |