Documentación de Oracle Cloud Infrastructure

Acerca del rendimiento del refrescamiento de datos

Oracle se esfuerza constantemente por mejorar el rendimiento de la carga de datos en pipelines.

El rendimiento de la carga de datos para la instancia variará. El tiempo necesario para completar el procesamiento de datos, tanto las cargas completas del almacén como las cargas incrementales de datos, depende de varios factores. Una carga de pipeline de datos incluye lo siguiente:

  • Extracción de datos de Oracle Fusion Cloud Applications.
  • Carga de los datos en Oracle Autonomous Data Warehouse.
  • Transformación de los datos en el esquema predefinido.
El tiempo para completar cada uno de estos pasos viene determinado por varios factores, entre ellos:
  • Disponibilidad del sistema de origen.
  • El tamaño y la complejidad de los datos de origen.
  • Las áreas funcionales activadas.
  • Consultas SQL personalizadas que afectan a Oracle Autonomous Data Warehouse.
  • Las consultas se ejecutan simultáneamente.
  • Personalizaciones realizadas en los objetos del sistema de origen (que requieren una carga completa para esos objetos).
  • Aplicación de parches a sistemas de origen y destino.
Para que el refrescamiento diario de datos y la ejecución del pipeline actualicen todas las métricas clave y paneles de control resultantes, el tiempo de ejecución depende de muchos factores, como la cantidad de datos que se refrescan de forma incremental. Para planificar sus necesidades de flujo de trabajo descendente, asegúrese de realizar estas acciones:
  • Active la estimación de ejecución de pipeline mediante la función de vista previa Estimación de refrescamiento de datos en la página Habilitar funciones. Los detalles de finalización de refrescamiento estimado están visibles en la página Pipeline Settings.
  • Disparar cualquier operación posterior en función del tiempo estimado de finalización de refrescamiento.
  • Póngase en contacto con los Servicios de Soporte Oracle si el refrescamiento no se completa en el tiempo estimado de finalización.
  • Suscríbase a Event Notifications, para que pueda recibir una notificación por correo electrónico tan pronto como haya algún problema con la ejecución del pipeline. Consulte Activación de notificaciones de eventos (vista previa).

El refrescamiento de datos normalmente se realiza diariamente a menos que los trabajos de pipeline de datos estén desactivados o bloqueados. Puede observar los tiempos de carga de datos de la configuración específica del origen y del almacén para estimar el tiempo que se tarda en un refrescamiento diario incremental y en una carga completa del almacén. Esta información puede ayudarle a planificar el momento óptimo del día para iniciar la actualización diaria de los datos. Puede que desee programar la carga de datos para que se ejecute durante las horas valle, por ejemplo, ejecute las cargas iniciales de todo el almacén durante los fines de semana y las cargas incrementales por la noche de la semana para asegurarse de que los usuarios no se vean afectados.

Puede ver el tiempo estimado de finalización de refrescamiento para pipelines diarios en la página Pipeline Settings del campo Estimated Refresh Completion como una función Preview. Esto le permite planificar las tareas en la aplicación.
Detalles de finalización de refrescamiento estimada en la página Parámetros de pipeline

El proceso de refrescamiento de datos incremental refresca los objetos como juegos de datos base y derivados. Los conjuntos de datos base son objetos que forman parte del pipeline principal y se obtienen directamente de Oracle Fusion Cloud Applications y son necesarios para el contenido principal (por ejemplo, transacciones y dimensiones). Los conjuntos de datos derivados se basan en datos que requieren procesamiento adicional (por ejemplo, conjuntos de datos utilizados en casos de uso de aprendizaje automático predefinidos). El proceso de refrescamiento incremental refresca primero los juegos de datos base para garantizar que los datos esenciales estén disponibles rápidamente. El sistema predice y muestra el tiempo de finalización de carga incremental, pero no hace lo mismo para los juegos de datos derivados. Si no ha activado contenido que tenga juegos de datos derivados, no verá esta información en la página Configuración de pipeline de la sección Pipeline de datos.