Überlegungen zur Performance bei häufigen Datenaktualisierungen

Prüfen und berücksichtigen Sie Folgendes, um sicherzustellen, dass häufige Datenaktualisierungen wie erwartet funktionieren.

Die Performance häufiger Datenaktualisierungen hängt von folgenden Faktoren ab:

Datengröße.
Datenänderung, z.B. welche Daten geändert wurden und welche Pipeline ausgelöst wird.
Anzahl der extrahierten Datensätze, die zu einer sehr unterschiedlichen Anzahl veröffentlichter Datensätze führen können. Beispiel: In einem Szenario führten 44 extrahierte Datensätze zu 1060 veröffentlichten Datensätzen in 70 Minuten, und 395 extrahierte Datensätze führten zu 55 veröffentlichten Datensätzen in 35 Minuten.

Der häufige Datenaktualisierungsprozess wird in den folgenden Szenarios nicht ausgeführt:

Im 180-Minuten-Fenster vor dem geplanten Start der täglichen inkrementellen Datenaktualisierung.
Wenn ein Releaseupgrade ausgeführt wird.
Bis der vorherige häufige Datenaktualisierungsprozess abgeschlossen ist. Sie können eine maximale Häufigkeit von 1 Stunde festlegen. Wenn die Aktualisierung länger als 1 Stunde dauert, wird der nächste häufige Datenaktualisierungsprozess um die nächste Stunde gestartet.

Befolgen Sie die folgenden Richtlinien, um eine häufige Datenaktualisierung von Warehouse-Tabellen zu konfigurieren, d.h. in Datasets:

Stellen Sie sicher, dass Sie die genauen Namen der zu aktualisierenden Datasets kennen.
Geben Sie maximal 20 Datasets für jede Ausführung an.
Bestimmen Sie alle Abhängigkeiten, und nehmen Sie die anwendbaren Tabellen auf, weil Abhängigkeiten nicht automatisch eingeschlossen werden.
Wählen Sie nur die Module und Tabellen aus, die Sie tatsächlich benötigen, da jedes zusätzliche Modul oder jede zusätzliche Tabelle das Datenvolumen erhöht, das vom System extrahiert, geladen und validiert werden muss. Beginnen Sie mit den minimal erforderlichen Modulen und Tabellen, und erweitern Sie sie dann nur, wenn die Geschäftsanforderungen die hinzugefügte Aktualisierungszeit und die Systemauswirkung rechtfertigen.