Capturar Alterações de Dados (Visualização)

Você pode saber quais dados foram alterados no data warehouse autônomo associado à instância do Fusion Data Intelligence durante a atualização usando o formato Alteração de Tabela projetado para capturar alterações de dados no processo de atualização.

Você pode usar as informações de alteração nas integrações downstream. Esse recurso usa o recurso Compartilhamento de Dados e envia as informações de dados alteradas para um data lake, como o Oracle Cloud Infrastructure Object Storage Service. O conector de Destinos do Oracle Object Storage Service com o tipo FDI_TABLE_CHANGE_FORMAT permite que o Fusion Data Intelligence publique conjuntos de dados no Formato de Dados de Integração no bucket do Oracle Cloud Infrastructure Object Storage. Depois de publicar os dados de alteração no Oracle Object Storage Service, você pode ler as alterações usando qualquer ferramenta padrão para ler os arquivos do Object Store e executar ações downstream conforme necessário.

O Object Storage Service armazena as alterações nos arquivos Parquet em uma estrutura hierárquica para:
  • Cada fonte
  • Cada tabela selecionada para capturar alterações
  • Cada alteração (identificada por "Número de Alteração do Sistema")
  • Cada tipo de atualização
    • Completo
    • Incremental
    • Transient_refresh (para FDR V2)
  • Essas ações
    • Inserir
    • Atualizar
    • Excluir
Esse mecanismo também captura metadados adicionais para:
  • Conclusão da atualização
  • Esquema
  • Marcadores para a última alteração e última atualização completa

Amostra de Dados Alterados Armazenados no Object Storage Service

Esta amostra lista os conjuntos de alterações correspondentes aos SCN (números de alteração do sistema) disponíveis para um conjunto de dados específico.
Amostra dos dados alterados armazenados no Object Storage Service