O pacote DBMS_CLOUD_PIPELINE fornece procedimentos para criar, configurar, testar e iniciar um pipeline. O ciclo de vida e os procedimentos do pipeline são os mesmos para pipelines de carga e exportação.

Para qualquer um dos tipos de pipeline, execute as seguintes etapas para criar e usar um pipeline:

1. Crie e configure o pipeline. Consulte Criar e Configurar Pipelines para obter mais informações.

2. Testar um novo pipeline. Consulte Testar Pipelines para obter mais informações.

3. Iniciar um pipeline. Consulte Iniciar um Pipeline para obter mais informações.

Além disso, você pode monitorar, interromper ou eliminar pipelines:

• Enquanto um pipeline está em execução, durante o teste ou durante o uso regular depois de iniciar o pipeline, você pode monitorar o pipeline. Consulte Monitorar e Solucionar Problemas de Pipelines para obter mais informações.

• Você pode interromper um pipeline e iniciá-lo posteriormente novamente ou eliminar um pipeline quando terminar de usá-lo. Consulte Interromper um Pipeline e Eliminar um Pipeline para obter mais informações.

Um pipeline de carga opera da seguinte forma (alguns desses recursos são configuráveis usando atributos de pipeline):

• Os arquivos de armazenamento de objetos são carregados em paralelo em uma tabela de banco de dados.

  • Um Pipeline de carregamento usa o nome do arquivo de armazenamento de objetos para identificar e carregar exclusivamente arquivos mais novos.
  • Depois que um arquivo no armazenamento de objetos for carregado na tabela do banco de dados, se o conteúdo do arquivo for alterado no armazenamento de objetos, ele não será carregado novamente.
  • Se o arquivo de armazenamento de objetos for excluído, isso não afetará os dados na tabela de banco de dados.

• Se forem encontradas falhas, um pipeline de carga repetirá automaticamente a operação. Tentativas de novas tentativas são feitas em cada execução subsequente do job programado do pipeline.

• Nos casos em que os dados em um arquivo não estão em conformidade com a tabela do banco de dados, eles são marcados como FAILED e podem ser revisados para depurar e solucionar o problema.

  • Se houver falha no carregamento de qualquer arquivo, o pipeline não será interrompido e continuará a carregar os outros arquivos.

• Os pipelines de carga suportam vários formatos de arquivo de entrada, incluindo: JSON, CSV, XML, Avro, ORC e Parquet.

A migração de bancos de dados não Oracle é um possível caso de uso para um pipeline de carga. Quando precisar migrar seus dados de um banco de dados não Oracle para o Oracle Autonomous Database, você poderá extrair os dados e carregá-los no Autonomous Database (o formato do Oracle Data Pump não pode ser usado para migrações de bancos de dados não Oracle). Usando um formato de arquivo genérico, como CSV, para exportar dados de um banco de dados não Oracle, você pode salvar seus dados em arquivos e fazer upload dos arquivos para o armazenamento de objetos. Em seguida, crie um pipeline para carregar os dados para o Autonomous Database. O uso de um pipeline de carga para carregar um grande conjunto de arquivos CSV fornece benefícios importantes, como tolerância a falhas e operações de retomada e repetição. Para uma migração com um grande conjunto de dados, você pode criar vários pipelines, um por tabela para os arquivos de banco de dados não Oracle, para carregar dados no Autonomous Database.

Use um pipeline de exportação para exportação incremental contínua de dados do banco de dados para o armazenamento de objetos. Um pipeline de exportação identifica periodicamente os dados do candidato e faz upload dos dados para o armazenamento de objetos.

Há três opções de pipeline de exportação (as opções de exportação são configuráveis usando atributos de pipeline):

• Exporte resultados incrementais de uma consulta para o armazenamento de objetos usando uma coluna de data ou timestamp como chave para rastrear dados mais recentes.

• Exporte dados incrementais de uma tabela para o armazenamento de objetos usando uma coluna de data ou timestamp como chave para rastrear dados mais recentes.

• Exporte dados de uma tabela para o armazenamento de objetos usando uma consulta para selecionar dados sem uma referência a uma coluna de data ou timestamp (para que o pipeline exporte todos os dados selecionados pela consulta para cada execução do scheduler).

Os pipelines de exportação têm os seguintes recursos (alguns deles são configuráveis usando atributos de pipeline):

• Os resultados são exportados em paralelo para o armazenamento de objetos.

• Em caso de falhas, um job de pipeline subsequente repete a operação de exportação.

• Os pipelines de exportação suportam vários formatos de arquivo de exportação, incluindo: CSV, JSON, Parquet ou XML.

O Autonomous Database fornece pipelines incorporados para exportar logs para o armazenamento de objetos. Esses pipelines são pré-configurados e podem ser iniciados pelo usuário ADMIN.

Os pipelines Mantidos pela Oracle são:

• ORA$AUDIT_EXPORT: Este pipeline exporta os logs de auditoria do banco de dados para o armazenamento de objetos no formato JSON e é executado a cada 15 minutos após iniciar o pipeline (com base no valor do atributo interval).

• ORA$APEX_ACTIVITY_EXPORT: Este pipeline exporta o log de atividades do espaço de trabalho do Oracle APEX para o armazenamento de objetos no formato JSON. Esse pipeline é pré-configurado com a consulta SQL para recuperar registros de atividade do APEX e é executado a cada 15 minutos após iniciar o pipeline (com base no valor do atributo interval).

Os pipelines Mantidos pela Oracle pertencem ao usuário ADMIN e os atributos dos Pipelines Mantidos pela Oracle podem ser modificados pelo usuário ADMIN.

Por padrão, os Pipelines Mantidos pela Oracle usam OCI$RESOURCE_PRINCIPAL como credential_name.

Consulte Usar Pipelines Mantidos pela Oracle para obter mais informações.