Acerca del rendimiento del refrescamiento de datos

Oracle se esfuerza constantemente por mejorar el rendimiento de la carga de datos en pipelines.

El rendimiento de la carga de datos para la instancia variará. El tiempo necesario para completar el procesamiento de datos, tanto las cargas completas del almacén como las cargas incrementales de datos, depende de varios factores. Una carga de pipeline de datos incluye lo siguiente:

  • Extracción de datos de Oracle Fusion Cloud Applications.
  • Carga de los datos en Oracle Autonomous Data Warehouse.
  • Transformación de los datos en el esquema predefinido.
El tiempo para completar cada uno de estos pasos viene determinado por varios factores, entre ellos:
  • Disponibilidad del sistema de origen.
  • El tamaño y la complejidad de los datos de origen.
  • Las áreas funcionales activadas.
  • Consultas SQL personalizadas que afectan a Oracle Autonomous Data Warehouse.
  • Las consultas se ejecutan simultáneamente.
  • Personalizaciones realizadas en los objetos del sistema de origen (que requieren una carga completa para esos objetos).
  • Aplicación de parches a sistemas de origen y destino.
Para que el refrescamiento diario de datos y la ejecución del pipeline actualicen todas las métricas clave y paneles de control resultantes, el tiempo de ejecución depende de muchos factores, como la cantidad de datos que se refrescan de forma incremental. Para planificar sus necesidades de flujo de trabajo descendente, asegúrese de realizar estas acciones:
  • Active la estimación de ejecución de pipeline mediante la función de vista previa Estimación de refrescamiento de datos en la página Habilitar funciones. Los detalles de finalización de refrescamiento estimado están visibles en la página Pipeline Settings.
  • Disparar cualquier operación posterior en función del tiempo estimado de finalización de refrescamiento.
  • Póngase en contacto con los Servicios de Soporte Oracle si el refrescamiento no se completa en el tiempo estimado de finalización.
  • Suscríbase a las notificaciones de eventos para recibir una notificación por correo electrónico tan pronto como se produzca algún problema con la ejecución del pipeline. Consulte Activación de notificaciones de eventos (vista previa).

El refrescamiento de datos normalmente se realiza diariamente a menos que los trabajos de pipeline de datos estén desactivados o bloqueados. Puede observar los tiempos de carga de datos de la configuración específica del origen y del almacén para estimar el tiempo que se tarda en un refrescamiento diario incremental y en una carga completa del almacén. Esta información puede ayudarle a planificar el momento óptimo del día para iniciar la actualización diaria de los datos. Puede que desee programar la carga de datos para que se ejecute durante las horas valle, por ejemplo, ejecute las cargas iniciales de todo el almacén durante los fines de semana y las cargas incrementales por la noche de la semana para asegurarse de que los usuarios no se vean afectados.

Puede ver el tiempo estimado de finalización de refrescamiento de los pipelines diarios en la página Configuración de pipeline del campo Finalización de refrescamiento estimada como una función de vista previa. Esto le permite planificar las tareas en la aplicación.
Detalles de finalización de refrescamiento estimado en la página Parámetros de pipeline

El proceso de refrescamiento de datos incremental refresca objetos en varias etapas para garantizar que los datos esenciales estén disponibles rápidamente. El proceso de actualización de varias etapas incluye:
  • Refrescamiento de prioridad de tablas específicas que ha configurado para casos de uso operativos.
  • A continuación, el proceso actualiza los módulos predefinidos y las configuraciones de datos personalizadas cuando corresponde. Los objetos refrescados en esta etapa forman parte del pipeline principal y se obtienen directamente de Oracle Fusion Cloud Applications y son necesarios para el contenido principal (por ejemplo, transacciones y dimensiones).
  • Por último, el proceso actualiza los aumentos de datos del tipo Juego de datos, los aumentos de datos configurados como Juegos de datos con versiones, los aumentos de datos sin fecha de última modificación o fecha de última actualización y los módulos de predicción, como Predicción de pagos a tiempo de proveedores. Los objetos refrescados en esta etapa requieren procesamiento adicional; por ejemplo, juegos de datos utilizados en casos de uso de Machine Learning predefinidos).

El sistema predice y muestra el tiempo de finalización de carga incremental. Si no ha activado el contenido que se procesa en último lugar en el proceso de refrescamiento de varias etapas, no verá esta información en la página Configuración de pipeline de la sección Pipeline de datos.