Überlegungen zur Performance bei häufigen Datenaktualisierungen
Prüfen und berücksichtigen Sie Folgendes, um sicherzustellen, dass häufige Datenaktualisierungen wie erwartet funktionieren.
Die Performance häufiger Datenaktualisierungen hängt von folgenden Faktoren ab:
- Datengröße.
- Datenänderung, z.B. welche Daten geändert wurden und welche Pipeline ausgelöst wird.
- Anzahl der extrahierten Datensätze, die zu einer sehr unterschiedlichen Anzahl veröffentlichter Datensätze führen können. Beispiel: In einem Szenario führten 44 extrahierte Datensätze zu 1060 veröffentlichten Datensätzen in 70 Minuten, und 395 extrahierte Datensätze führten zu 55 veröffentlichten Datensätzen in 35 Minuten.
Der häufige Datenaktualisierungsprozess wird in den folgenden Szenarios nicht ausgeführt:
- Im 180-Minuten-Fenster vor dem geplanten Start der täglichen inkrementellen Datenaktualisierung.
- Wenn ein Releaseupgrade ausgeführt wird.
- Bis der vorherige häufige Datenaktualisierungsprozess abgeschlossen ist. Sie können eine maximale Häufigkeit von 1 Stunde festlegen. Wenn die Aktualisierung länger als 1 Stunde dauert, wird der nächste häufige Datenaktualisierungsprozess um die nächste Stunde gestartet.
Befolgen Sie die folgenden Richtlinien, um eine häufige Datenaktualisierung von Warehouse-Tabellen zu konfigurieren, d.h. in Datasets:
- Stellen Sie sicher, dass Sie die genauen Namen der zu aktualisierenden Datasets kennen.
- Geben Sie maximal 20 Datasets für jede Ausführung an.
- Bestimmen Sie alle Abhängigkeiten, und nehmen Sie die anwendbaren Tabellen auf, weil Abhängigkeiten nicht automatisch eingeschlossen werden.