Consideraciones de rendimiento para el refrescamiento de datos frecuente
Revise y considere lo siguiente para asegurarse de que las actualizaciones de datos frecuentes funcionen según lo esperado.
El rendimiento de los refrescamientos de datos frecuentes depende de lo siguiente:
- Tamaño de los datos.
- Cambio de datos, como qué datos han cambiado y qué pipeline se dispara.
- Número de registros extraídos que pueden dar lugar a un número muy diferente de registros publicados. Por ejemplo, en un escenario, 44 registros extraídos dieron como resultado 1060 registros publicados en 70 minutos y 395 registros extraídos dieron como resultado 55 registros publicados en 35 minutos.
El proceso de refrescamiento de datos frecuente no se ejecuta en los siguientes escenarios:
- En la ventana de 180 minutos antes del inicio programado del refrescamiento diario de datos incrementales.
- Si hay alguna actualización de versión en curso.
- Hasta que finalice el proceso de refrescamiento de datos frecuente anterior. Puede establecer una frecuencia máxima de 1 hora. Si se tarda más de 1 hora en completar el refrescamiento, el siguiente proceso frecuente de refrescamiento de datos comienza a la siguiente hora.
Siga estas directrices para configurar el refrescamiento frecuente de datos de las tablas de almacén, es decir, las de los juegos de datos:
- Asegúrese de conocer los nombres exactos de los conjuntos de datos que se actualizarán.
- No especifique más de 20 conjuntos de datos para cada ejecución.
- Determine las dependencias e incluya las tablas aplicables porque las dependencias no se incluyen automáticamente.