Documentação do Oracle Cloud Infrastructure

Sobre o Desempenho de Atualização de Dados

A Oracle se esforça constantemente para melhorar o desempenho do carregamento de dados em pipelines.

O desempenho do carregamento de dados para sua instância variará. O tempo para concluir o processamento de dados, tanto cargas completas de warehouse quanto cargas incrementais de dados, depende de vários fatores. Um carregamento de pipeline de dados inclui o seguinte:

  • Extração de dados do Oracle Fusion Cloud Applications.
  • Carregando os dados no Oracle Autonomous Data Warehouse.
  • Transformando os dados no esquema predefinido.
O tempo para concluir cada uma dessas etapas é determinado por vários fatores, incluindo:
  • A disponibilidade do sistema de origem.
  • O tamanho e a complexidade dos dados de origem.
  • As áreas funcionais ativadas.
  • Consultas SQL personalizadas que afetam o Oracle Autonomous Data Warehouse.
  • Suas consultas são executadas simultaneamente.
  • Personalizações feitas nos objetos do sistema de origem (que exigem uma carga completa para esses objetos).
  • A aplicação de patches dos sistemas de origem e de destino.
Para atualização diária de dados e execução de pipeline para atualizar todas as principais métricas e painéis de controle resultantes, o tempo de execução depende de muitos fatores, como o volume de dados que são atualizados incrementalmente. Para planejar suas necessidades de fluxo de trabalho downstream, certifique-se de executar estas ações:
  • Ative a estimativa de execução do pipeline usando o recurso de visualização Estimativa de Atualização de Dados na página Ativar Recursos. Os detalhes de conclusão da atualização estimada estão visíveis na página Definições de Pipeline.
  • Acione quaisquer operações subsequentes com base no tempo estimado de conclusão da atualização.
  • Entre em contato com o Suporte Técnico da Oracle se a atualização não for concluída até o tempo estimado de conclusão.
  • Inscreva-se nas Notificações de Evento para que você possa receber uma notificação por e-mail assim que houver algum problema com a execução do pipeline. Consulte Ativar Notificações de Evento (Visualização).

A atualização de dados geralmente é concluída diariamente, a menos que os jobs do pipeline de dados estejam desativados ou presos. Você pode observar os tempos de carregamento de dados para sua configuração específica de origem e warehouse para estimar o tempo necessário para uma atualização diária incremental e para uma carga completa do warehouse. Essas informações podem ajudá-lo a planejar o horário ideal do dia para iniciar sua atualização diária de dados. Talvez você queira programar o carregamento de dados para ser executado fora do horário de pico, por exemplo, executar cargas iniciais de armazenamento completo durante finais de semana e cargas incrementais durante os dias de semana à noite para garantir que os usuários não sejam afetados.

Você pode exibir o tempo estimado de conclusão da atualização para pipelines diários na página Definições de Pipeline, no campo Conclusão Estimada da Atualização, como um recurso de Visualização. Isso permite que você planeje suas tarefas na aplicação.
Detalhes de Conclusão da Atualização Estimada na página Parâmetros do Pipeline

O processo de atualização de dados incrementais atualiza objetos como conjuntos de dados base e derivados. Os conjuntos de dados base são objetos que fazem parte do pipeline principal e são originados diretamente do Oracle Fusion Cloud Applications e necessários para o conteúdo principal (por exemplo, transações e dimensões). Os conjuntos de dados derivados são baseados em dados que exigem processamento adicional (por exemplo, conjuntos de dados usados em casos de uso de machine learning pré-criados). O processo de atualização incremental atualiza os conjuntos de dados base primeiro para garantir que os dados essenciais sejam disponibilizados rapidamente. O sistema prevê e exibe o tempo de conclusão da carga incremental, mas não faz o mesmo para conjuntos de dados derivados. Se você não tiver ativado conteúdo que tenha conjuntos de dados derivados, não verá essas informações na página Definições de Pipeline na seção Pipeline de Dados.