Acerca del rendimiento del refrescamiento de datos
El refrescamiento de datos en Oracle Fusion Data Intelligence es un proceso complejo. Se espera alguna variación diaria en la duración del refrescamiento.
Un refrescamiento de datos típico incluye los siguientes procesos:
- Extracción de datos de Oracle Fusion Cloud Applications u otros orígenes de terceros.
- Transformación de los datos en el esquema predefinido listo para los análisis.
- Cargando los datos en Oracle Autonomous AI Lakehouse.
- Uso compartido de datos con destinos externos con la funcionalidad de uso compartido de datos.
Factores que afectan al rendimiento de refrescamiento de datos
El tiempo necesario para refrescar los datos y todas las métricas y paneles de control clave resultantes depende de varios factores.
Estos incluyen:
- Disponibilidad del sistema de origen: si el sistema de origen no está disponible, la actualización se pausará y esperará. El sistema envía una notificación. Si el sistema puede determinar que el problema de acceso se debió a credenciales no válidas, el historial de solicitudes y las estadísticas de refrescamiento de almacén muestran si el refrescamiento se ha puesto en cola debido a la disponibilidad de origen.
- Disponibilidad de recursos en el sistema de origen: si los recursos del sistema de origen son consumidos por procesos distintos al proceso de extracción de Oracle Fusion Data Intelligence, se producirán retrasos en los refrescamientos de datos de Oracle Fusion Data Intelligence. Esto es especialmente cierto para Oracle Fusion Cloud Applications.
- Tamaño y complejidad de los datos de origen: en general, el volumen de datos procesados durante un refrescamiento es un buen indicador de cuánto tiempo llevará el refrescamiento, aunque este no siempre es el caso. Las estadísticas de refrescamiento de almacén incluyen el número de registros publicados que pueden indicar el volumen total. Consulte Visualización de Estadísticas de Refrescamiento de Almacén.
- Áreas funcionales activadas: en general, cuanto más áreas funcionales, más datos se procesarán y, por lo tanto, se actualizarán más tiempo.
- Consultas SQL personalizadas: si se ejecutan consultas personalizadas en Oracle Autonomous AI Lakehouse, pueden consumir los recursos necesarios para el pipeline, lo que puede afectar al rendimiento general del refrescamiento.
- Bloqueos de tabla por procesamiento descendente personalizado: si algún proceso descendente adquiere bloqueos en las tablas de Oracle Fusion Data Intelligence y los retiene durante demasiado tiempo, esto puede provocar retrasos en el refrescamiento de datos realizado por Oracle Fusion Data Intelligence.
- Personalizaciones realizadas en los objetos del sistema de origen: si las personalizaciones requieren una carga completa para esos objetos, el refrescamiento tardará más tiempo.
- Mantenimiento del sistema de origen y destino: las actividades de mantenimiento del sistema, como la aplicación de parches, pueden pausar o retrasar los procesos de pipeline, lo que puede ampliar el tiempo de refrescamiento general.
- Pipelines de datos personalizados: si se utiliza una lógica de transformación compleja en los scripts de aumento de datos para pipelines de datos personalizados, puede afectar al tiempo de refrescamiento general.
Consideraciones sobre el Rendimiento de Refrescamiento de Datos
Dada la variedad de factores que influyen en el refrescamiento de los datos, los tiempos de finalización variarán de un día a otro.
Consulte Factores que afectan al rendimiento del refrescamiento de datos.
El rendimiento del pipeline es una responsabilidad compartida; por lo tanto, Oracle proporciona una plataforma ampliable, controles de configuración y orientación sobre el uso, mientras se gestionan los volúmenes de datos, la preparación del sistema de origen, el diseño de transformación (si se utiliza algún pipeline de datos personalizado), la programación y las configuraciones específicas del entorno. Los resultados óptimos requieren la participación continua del usuario en la configuración, la supervisión proactiva de diferentes factores que afectan los refrescamientos de datos y el cumplimiento de las prácticas y herramientas recomendadas por Oracle.
Para ayudar a mantener el rendimiento de refrescamiento óptimo, tenga en cuenta las siguientes acciones:
- Áreas funcionales activadas: active solo las áreas funcionales necesarias para las necesidades de su negocio de análisis. Comience con lo que es necesario y agregue más a medida que surgen nuevos requisitos, en lugar de permitir todo por adelantado. Consulte Activación de un pipeline de datos para un área funcional. Elimine las áreas funcionales que no sean críticas para sus análisis. Consulte Desactivación de un pipeline de datos para un área Funcional.
- Módulos y tablas de datos en refrescamiento de datos frecuente: agregue solo los módulos que sean necesarios para las necesidades de negocio de análisis operativos intradiarios mediante la funcionalidad de refrescamiento de datos frecuente. Elimine los módulos que no sean críticos para los análisis. Consulte Configuración del refrescamiento de datos frecuente V2 (vista previa) y Consideraciones de rendimiento para el refrescamiento de datos frecuente.
- Fecha de extracción inicial: esta configuración controla los datos que se extraen, transforman y almacenan en el almacén. Configúrelo cuidadosamente en función de los requisitos de negocio reales. En lugar de una fecha de extracción inicial absoluta, considere el uso de una fecha de extracción inicial relativa. Consulte Acerca de los parámetros de pipeline. Esto resulta especialmente impactante si utiliza la funcionalidad de análisis de cuentas configurables. Consulte Análisis de cuenta configurable.
- Extractos personalizados: si se están ejecutando extracciones de datos personalizadas en el sistema de origen, pueden competir por recursos y retrasar el refrescamiento de datos. Por ejemplo, las extracciones personalizadas de Business Intelligence Cloud Connector (BICC) que se ejecutan en paralelo con el proceso de extracción de Oracle Fusion Data Intelligence pueden ralentizar los refrescamientos de Oracle Fusion Data Intelligence. Para evitar retrasos, asegúrese de que no se esté ejecutando ningún otro trabajo de refrescamiento personalizado durante las ventanas de refrescamiento de datos de Oracle Fusion Data Intelligence. Cuando un refrescamiento determinado tarda más de lo esperado, utilice las estadísticas de refrescamiento de almacén para determinar si hay retrasos debido a extracciones personalizadas durante el refrescamiento de datos. Consulte Visualización de Estadísticas de Refrescamiento de Almacén.
- Sesiones de alto servicio en Oracle Autonomous AI Lakehouse: el proceso de refrescamiento de datos depende de los recursos de almacén disponibles. Si las sesiones de servicio de alto nivel se están ejecutando, pueden consumir capacidad y retrasar la publicación de datos en el almacén. Consulte Directrices de uso para Autonomous AI Lakehouse asociado a Oracle Fusion Data Intelligence. Cuando un refrescamiento determinado tarde más de lo esperado, utilice las estadísticas de refrescamiento de almacén para determinar si hubo sesiones altas durante el refrescamiento de datos. Consulte Visualización de Estadísticas de Refrescamiento de Almacén.
- Procesos de ETL personalizados descendentes: el proceso de refrescamiento de datos requiere acceso ininterrumpido a las tablas del almacén de datos. Cualquier proceso de ETL personalizado que acceda a estas tablas y adquiera bloqueos de larga duración se debe programar fuera de la ventana de refrescamiento de Oracle Fusion Data Intelligence.
- Refrescamiento con prioridad: si desea que determinados datos se refresquen primero incluso en el refrescamiento incremental, puede seleccionar las tablas de almacén para el refrescamiento con prioridad. Sin embargo, use esto solo para un conjunto limitado de tablas que son realmente críticas para refrescar antes que otros conjuntos de datos. Consulte Priorización de juegos de datos para un actualización incremental (vista previa).
- Sustitución de programa de área funcional: revise las áreas funcionales que haya activado y considere la posibilidad de escalonar los tiempos de refrescamiento en función de las necesidades del negocio. Esto puede reducir la carga de procesamiento de los refrescamientos de pipeline incrementales diarios. Consulte Sustitución de programas de pipeline de datos para áreas funcionales (vista previa).
- Origen de Fusion Augmentations: si los aumentos de datos se utilizan principalmente para integraciones descendentes, considere el uso del origen de Fusion Augmentations para conjuntos de datos. Con esta opción, los refrescamientos de aumento se pueden ejecutar en paralelo con los refrescamientos incrementales diarios para las áreas funcionales de Oracle Fusion Cloud Applications. Esto mejora el rendimiento de refrescamiento incremental para el origen de Oracle Fusion Cloud Applications. También permite una frecuencia de refrescamiento diferente para los aumentos de datos mediante el origen de aumentos de Fusion. Programe los refrescamientos según el origen de Oracle Fusion Cloud Applications y el origen de aumentos de Fusion de forma escalonada para evitar la contención de recursos en Oracle Fusion Cloud Applications. Consulte Realización de aumentos de datos con origen de aumentos de Fusion.
- Refrescar cambio de prioridad de etapa en solicitud: para el refrescamiento incremental programado, puede presentar una solicitud de servicio para mover determinados módulos de la etapa principal a la etapa secundaria. Consulte Programar refrescamiento de datos incremental. Esto permite que los datos para mayores necesidades empresariales críticas estén disponibles antes.