Criar e Configurar Pipelines
Você pode criar um ou mais pipelines de carga ou exportação. Ao criar um pipeline, você usa parâmetros e define atributos de pipeline para configurar o pipeline.
As opções para criar e configurar um pipeline são as seguintes:
-
Pipeline de Carga:
-
Pipeline de Exportação:
-
Exporte resultados incrementais de uma consulta para o armazenamento de objetos usando uma coluna de data ou timestamp como chave para rastrear dados mais recentes. Consulte Criar e Configurar um Pipeline para Exportar com Coluna de Timestamp.
-
Exporte dados incrementais de uma tabela para o armazenamento de objetos usando uma coluna de data ou timestamp como chave para rastrear dados mais recentes. Consulte Criar e Configurar um Pipeline para Exportar com Coluna de Timestamp.
-
Exporte dados de uma tabela para o armazenamento de objetos usando uma consulta para selecionar dados sem uma referência a uma coluna de data ou timestamp (para que o pipeline exporte todos os dados que a consulta seleciona para cada execução do scheduler). Consulte Criar e Configurar um Pipeline para Exportar Resultados de Consulta (sem um Timestamp).
-
Criar e Configurar um Pipeline para Carregar Dados
Você pode criar um pipeline para carregar dados de arquivos externos no armazenamento de objetos para tabelas no Autonomous Database.
Um pipeline de carga consome dados colocados no armazenamento de objetos e os carrega em uma tabela no Autonomous Database. Quando você cria um pipeline de carga, o pipeline é executado em intervalos regulares para consumir dados colocados no armazenamento de objetos, quando novos arquivos de dados chegam, o pipeline carrega os novos dados. Você também pode usar um pipeline para copiar arquivos de forma confiável, com recursos de retomada e repetição, do armazenamento de objetos para uma tabela no seu banco de dados.
Com um pipeline de carga, o pacote de pipeline usa DBMS_CLOUD.COPY_DATA para carregar dados.
No seu Autonomous Database, use uma tabela existente ou crie a tabela de banco de dados na qual você está carregando dados. Por exemplo:
CREATE TABLE EMPLOYEE
(name VARCHAR2(128),
age NUMBER,
salary NUMBER);Como alternativa, para definir o formato para JSON, você pode usar o seguinte formato:
BEGIN
DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
pipeline_name => 'MY_PIPE1',
attribute_name => 'format',
attribute_value => JSON_OBJECT('type' value 'json', 'columnpath' value '["$.NAME", "$.AGE", "$.SALARY"]')
);
END;
/Criar e Configurar um Pipeline para a Coluna Exportar com Timestamp
Usando essa opção de pipeline de exportação, você especifica uma tabela ou consulta SQL e uma coluna com um timestamp que o pipeline usa para acompanhar o horário do último upload. Você pode usar um pipeline de exportação para compartilhar dados para consumo por outros aplicativos ou para salvar dados no armazenamento de objetos.
Com um pipeline de exportação, o pacote de pipeline usa DBMS_CLOUD.EXPORT_DATA para exportar dados.
Um pipeline de exportação exporta dados do seu Autonomous Database para o armazenamento de objetos. Quando você cria um pipeline de exportação, o pipeline é executado em intervalos regulares e coloca dados no armazenamento de objetos.
Criar e Configurar um Pipeline para Exportar Resultados de Consulta (sem um Timestamp)
Você pode criar um pipeline de exportação para exportar automaticamente dados do seu Autonomous Database para o armazenamento de objetos. Usando essa opção de pipeline de exportação, você especifica uma consulta SQL que o pipeline executa periodicamente para exportar dados para o armazenamento de objetos. Você pode usar essa opção de exportação para compartilhar os dados mais recentes do seu Autonomous Database para armazenar objetos de outros aplicativos para consumir os dados.
Um pipeline de exportação exporta dados do seu Autonomous Database para o armazenamento de objetos. Quando você cria um pipeline de exportação, o pipeline é executado em intervalos regulares e coloca dados no armazenamento de objetos.
Testar Pipelines
RUN_PIPELINE_ONCE para executar um pipeline uma vez sob demanda sem criar um job programado.
RUN_PIPELINE_ONCE é útil para testar um pipeline antes de iniciar o pipeline. Depois de executar um pipeline uma vez para testar o pipeline e verificar se ele está funcionando conforme esperado, use RESET_PIPELINE para redefinir o estado do pipeline (para o estado antes de executar RUN_PIPELINE_ONCE).