Datenflüsse

Ein Schema definiert die Ausprägung der Daten in einem Quell- oder Zielsystem. Wenn Sie an einem Datenfluss in Data Integration arbeiten, tritt beim Ändern der Datendefinitionen eine Schemaabweichung auf.

Beispiel: Ein Attribut kann in der Quelle hinzugefügt oder entfernt werden, oder ein Attribut im Ziel kann umbenannt werden. Wenn Sie die Schemadrift nicht berücksichtigen, werden die ETL-Prozesse möglicherweise nicht erfolgreich ausgeführt, oder die Datenqualität kann verringert werden.

Standardmäßig übernimmt Data Integration die Schemaabweichung für Sie. Wenn Sie einen Quelloperator im Datenflussdesigner konfigurieren, klicken Sie nach Auswahl einer Datenentity auf die Registerkarte "Erweiterte Optionen" im Bereich "Eigenschaften". Das ausgewählte Kontrollkästchen "Schemaabweichung zulassen" gibt an, dass die Schemaabweichung aktiviert ist.

Wenn die Schemaabweichung aktiviert ist, kann Data Integration während der Entwurfszeit und Laufzeit des Datenflusses Schemadefinitionsänderungen in den angegebenen Datenentitys erkennen. Alle Änderungen werden automatisch übernommen, und das Schema wird angepasst, um neue Attribute, entfernte Attribute, unterschiedliche Attributnamen, geänderte Datentypen usw. aufzunehmen.

Wenn Sie das Kontrollkästchen {\b Allow Schema Drift} deaktivieren, werden die Schemadefinitionen bei der Definition des Datenflusses gesperrt. Wenn die Schemaabweichung deaktiviert ist, verwendet Data Integration eine feste Form der angegebenen Datenentity, auch wenn die zugrunde liegende Form geändert wurde.

Ohne Handling der Schemaabweichung können Datenflüsse anfällig für Upstream-Datenquellenänderungen werden. Mithilfe der Schemaabweichung werden Datenflüsse resilienter und können sich automatisch an Änderungen anpassen. Sie müssen die Datenflüsse nicht neu entwerfen, wenn Änderungen an der Schemadefinition auftreten.

Bei einer JSON-Datei ist die Schemaabweichung standardmäßig deaktiviert und kann nicht aktiviert werden, wenn ein benutzerdefiniertes Schema zum Inferenzieren der Entityausprägung verwendet wird. Wenn die Schemaabweichung verfügbar und aktiviert sein soll, bearbeiten Sie die JSON-Quelle in der Datenfluss- oder Data-Loader-Aufgabe, und deaktivieren Sie das Kontrollkästchen Benutzerdefiniertes Schema verwenden.

In Data Integration kann ein Datenvorgang in einem Datenfluss zur Verarbeitung an ein Quell- oder Zieldatensystem übergeben werden.

Beispiel: Ein Sortier- oder Filtervorgang kann im Quellsystem ausgeführt werden, während die Daten gelesen werden. Wenn sich eine der Quellen für einen Join-Vorgang in demselben System wie das Ziel befindet, kann der Datenvorgang an das Zielsystem übergeben werden.

Data Integration kann Pushdown in einem Datenfluss verwenden, wenn Sie relationale Datensysteme verwenden, die Pushdown unterstützen. Dazu gehören derzeit Oracle-Datenbanken, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing und MySQL.

Standardmäßig wird Data Integration Pushdown verwendet, wenn anwendbar. Wenn Sie einen Quelloperator im Datenflussdesigner konfigurieren, klicken Sie nach Auswahl einer Datenentity auf die Registerkarte "Erweiterte Optionen" im Bereich "Eigenschaften". Das ausgewählte Kontrollkästchen "Pushdown zulassen" gibt an, dass der Pushdown aktiviert ist.

Wenn der Pushdown aktiviert ist, konvertiert Data Integration die anwendbare Datenvorgangslogik in SQL-Anweisungen, die dann direkt in der relationalen Datenbank ausgeführt werden. Durch das Übergeben der Datenverarbeitung an die Datenbank werden weniger Daten abgerufen und geladen.

Wenn Sie das Kontrollkästchen "Pushdown zulassen" deaktivieren, deaktivieren Sie den Pushdown. Wenn der Pushdown deaktiviert ist, ruft Data Integration alle Daten aus dem Quellsystem ab und verarbeitet die Daten in den Apache Spark-Clustern, die dem Workspace zugewiesen sind.

Da Data Integration Pushdown verwenden kann, wird die Performance aus folgenden Gründen verbessert:

• Die Verarbeitungsleistung der Datenbank wird genutzt.
• Weniger Daten werden zur Verarbeitung aufgenommen.

Je nach Optimierung kann Data Integration einen teilweisen oder vollständigen Pushdown in einem Datenfluss verwenden. Der Teil-Pushdown wird ausgeführt, wenn ein unterstütztes relationales Datensystem bei der Quelle oder dem Ziel verwendet wird. Der vollständige Pushdown wird ausgeführt, wenn folgende Bedingungen erfüllt sind:

• Im Datenfluss ist nur ein Ziel vorhanden.
• In einem Datenfluss mit einer einzelnen Quelle verwenden sowohl die Quelle als auch das Ziel dieselbe Verbindung zu einem unterstützten relationalen Datensystem.
• In einem Datenfluss mit mehreren Quellen müssen auch alle Quellen dieselbe Datenbank und Verbindung verwenden.
• Alle Transformationsoperatoren und -funktionen im Datenfluss können gültigen Pushdown-SQL-Code generieren.

Durch die Datenvorbereitung wird sichergestellt, dass Datenintegrationsprozesse genaue und sinnvolle Daten mit weniger Fehlern aufnehmen, um Qualitätsdaten für zuverlässigere Insights zu erzeugen.

Die Datenvorbereitung umfasst das Löschen und Validieren von Daten zur Fehlerreduzierung sowie das Transformieren und Anreichern von Daten, bevor die Daten in Zielsysteme geladen werden. Beispiel: Die Daten stammen aus verschiedenen Quellen mit verschiedenen Formaten und sogar doppelten Informationen. Bei der Datenvorbereitung können doppelte Attribute und Zeilen entfernt, ein Standardformat für alle Datumsattribute festgelegt und sensible Attributdaten wie Kreditkarten und Kennwörter maskiert werden.

Data Integration bietet sofort einsatzbereite Modellierungsoperatoren und -funktionen sowie Transformationen, mit denen Sie Daten beim Entwerfen der Logik für die ETL-Prozesse in interaktiven Tools vorbereiten können. Beispiel: Auf der Registerkarte "Attribute" können Sie eingehende Attribute nach einem Muster durchsuchen und eine Ausschlussregel anwenden.

Auf der Registerkarte "Daten" können Sie Transformationen auf ein einzelnes Attribut anwenden oder die Attribute nach einem Namensmuster oder Datentyp filtern und dann Transformationen auf eine Gruppe von Attributen anwenden. Sie können auch eine Vorschau der Ergebnisse von Datentransformationen auf der Registerkarte "Daten" anzeigen, ohne den gesamten Datenfluss ausführen zu müssen.

Auf der Registerkarte "Zuordnen" in Data Integration beschreiben Sie den Fluss der Daten von Quellattributen zu Zielattribute.

Ein Ziel kann eine vorhandene Datenentity oder eine neue Datenentity sein. In einem Datenfluss gilt die Registerkarte "Zuordnen" nur für einen Zieloperator für eine vorhandene Datenentity. Bei vorhandenen Zieldatenentitys werden die Quellattribute und alle benutzerdefinierten Attribute aus Upstreamvorgängen Attributen im Ziel zugeordnet.

Sie können die automatische Zuordnung oder manuelle Zuordnung verwenden. Für die automatische Zuordnung kann Data Integration eingehende Attribute Zielattributen mit demselben Namen oder entsprechend ihrer Position in den Attributlisten zuordnen. Bei einer manuellen Zuordnung können Sie ein eingehendes Attribut aus der Quellliste in ein Attribut in der Zielliste ziehen, um eine Zuordnung zu erstellen. Alternativ können Sie im Dialogfeld "Attribut zuordnen" eine Zuordnung erstellen, indem Sie ein Quellattribut und ein Zielattribut auswählen. Sie können die Zuordnung auch mit einem Quellattributmuster und einem Zielattributmuster erstellen.

Wenn Sie das Kontrollkästchen Neue Datenentity erstellen für einen Zieloperator aktivieren, ist die Registerkarte "Zuordnen" nicht verfügbar. Data Integration verwendet die eingehenden Quellattribute, um die Tabelle oder Dateistruktur mit einer One-to-One-Zuordnung zu erstellen.

Die folgenden Tools erleichtern die Navigation in einem Datenfluss oder einer Pipeline auf der Leinwand:

• Anzeigen: Wählen Sie dieses Menü, um die Fensterbereiche "Eigenschaften", "Operatoren", "Validierung" und "Parameter" zu öffnen bzw. zu schließen.
• Vergrößern: Mit dieser Option können Sie das Design vergrößern.
• Verkleinern: Ermöglicht das Verzoomen, um mehr vom Design anzuzeigen.
• Zoom zurücksetzen: Kehrt zur Standardansicht des Designs zurück.
• Grid Guide: Schaltet die Grid Guides ein und aus.
• Automatisches Layout: Ordnet die Operatoren auf der Leinwand an.
• Löschen: Der ausgewählte Operator wird von der Leinwand entfernt.
• Rückgängig: Löscht die zuletzt ausgeführte Aktion.
• Wiederholen: Führt die letzte Aktion durch, wenn Sie vorher auf Rückgängig geklickt haben.

Die Leinwand ist der Hauptarbeitsbereich, in dem Sie den Datenfluss oder die Pipeline entwerfen.

Ziehen Sie zunächst Objekte aus dem Bereich Operatoren auf die Leinwand.

Sie beginnen mit einer leeren Leinwand für einen Datenfluss. Damit ein Datenfluss gültig ist, müssen Sie mindestens eine Quelle und ein Ziel definiert haben.

Bei einer Pipeline beginnen Sie mit einer Leinwand, die einen Startoperator und einen Endoperator aufweist. Das Pipeline-Design muss mindestens einen Aufgabenoperator enthalten, um gültig zu sein.

Um zwei Operatoren zu verbinden, zeigen Sie mit der Maus auf einen Operator, bis der Connector (kleiner Kreis) auf der rechten Seite des Operators angezeigt wird. Ziehen Sie dann den Connector auf den Operator, mit dem Sie eine Verbindung herstellen möchten. Eine Verbindung ist gültig, wenn die Operatoren mit einer Linie verbunden sind, nachdem Sie den Connector abgelegt haben.

Um einen Operator zwischen zwei verbundenen Operatoren hinzuzufügen, klicken Sie mit der rechten Maustaste auf die Verbindungslinie, und verwenden Sie das Menü Einfügen.

Um eine Verbindung zu löschen, können Sie mit der rechten Maustaste auf eine Linie klicken und Löschen auswählen.

Um eine Quelle, ein Ziel oder einen Ausdrucksoperator zu kopieren, klicken Sie mit der rechten Maustaste auf das Operatorsymbol, und wählen Sie Duplizieren aus.

Im Bereich "Operatoren" werden die Benutzer angezeigt, die Sie einem Datenfluss oder einer Pipeline hinzufügen können.

Ziehen Sie Operatoren aus dem Bereich Operatoren auf die Leinwand, um den Datenfluss oder die Pipeline zu entwerfen. Jeder Operator verfügt über ein anderes Set von Eigenschaften, die Sie im Bereich Eigenschaften konfigurieren.

Für einen Datenfluss können Sie verschiedene Operatoren hinzufügen: Eingabe-, Ausgabe- und Modellierungsoperatoren.

Für eine Pipeline können Sie folgende Operatoren hinzufügen, um eine Sequenz zu erstellen: Eingabe-, Ausgabe- und Aufgabenoperatoren.

Im Bereich "Eigenschaften" können Sie den Datenfluss oder die Pipeline und die zugehörigen Operatoren konfigurieren.

Auf der Registerkarte Validierung können Sie den gesamten Datenfluss oder die gesamte Pipeline validieren.

Auf der Registerkarte Parameter können Sie alle auf Datenfluss- oder Pipelineebene definierten Parameter anzeigen, einschließlich systemgenerierter Parameter. Bei benutzerdefinierten Parametern können Sie Parameter löschen und gegebenenfalls die Standardwerte von Parametern bearbeiten.

Nachdem Sie einen Operator für einen Datenfluss auf der Leinwand hinzugefügt haben, wählen Sie den Operator aus, und konfigurieren Sie ihn im Bereich "Eigenschaften". Sie können folgende Schritte ausführen:

• Geben Sie die Operatordetails an, z.B. die ID, und konfigurieren Sie benutzerspezifische Einstellungen auf der Registerkarte Details.
• Zeigen Sie die ein- und ausgehenden Attribute des Operators auf der Registerkarte Attribute an.
• Auf der Registerkarte Map eingehende Attribute Attributen in der Zieldatenentity für einen Zieloperator zuordnen.
• Eine Vorschau auf ein Sampling von Daten auf der Registerkarte Daten anzeigen.
• Validieren Sie die Konfiguration des Operators auf der Registerkarte Validierung.

Wählen Sie nach dem Hinzufügen eines Operators auf der Leinwand den Operator ähnlich für eine Pipeline aus, und konfigurieren Sie ihn im Bereich "Eigenschaften". Sie können folgende Schritte ausführen:

• Geben Sie auf der Registerkarte Details einen Namen für den Operator an. Für einen Zusammenführungsoperator geben Sie eine Zusammenführungsbedingung an. Für einen Ausdrucksoperator fügen Sie einen oder mehrere Ausdrücke hinzu. Für Aufgabenoperatoren wählen Sie eine Aufgabe, die an den Operator gebunden werden soll, und geben an, wann die Aufgabe basierend auf dem Ausführungsstatus des Upstreamoperators ausgeführt wird.

  Für alle Aufgabenoperatoren können Sie Entwurfszeitaufgaben aus Projekten im aktuellen Workspace und veröffentlichte Aufgaben aus einer beliebigen Anwendung im aktuellen Workspace auswählen. Mit veröffentlichten REST-Aufgaben und OCI Data Flow-Aufgaben können Sie auch eine Aufgabe aus einer beliebigen Anwendung in einem anderen Workspace in demselben Compartment oder einem anderen Compartment auswählen.

• Geben Sie gegebenenfalls Ausführungsoptionen für Aufgaben auf der Registerkarte Konfiguration an.
• Konfigurieren Sie gegebenenfalls eingehende Parameter auf der Registerkarte Konfiguration.
• Zeigen Sie die Ausgaben auf der Registerkarte Ausgabe an, die als Eingaben für den nächsten Operator in der Pipeline verwendet werden kann.
• Validieren Sie gegebenenfalls die Konfiguration des Operators auf der Registerkarte Validierung .

Im Bereich "Parameter" werden die Parameter angezeigt, die in einem Datenfluss oder einer Pipeline verwendet werden.

Sie können auch einen Parameter im Bereich "Parameter" löschen.

Im Bereich Globale Validierung können Sie alle Fehler- und Warnmeldungen für einen Datenfluss oder eine Pipeline anzeigen.

Wählen Sie in der Symbolleiste "Leinwand" die Option Validieren aus, um den Datenfluss zu prüfen und zu debuggen, bevor Sie den Datenfluss in einer Integrationsaufgabe verwenden. Prüfen und debuggen Sie die Pipeline, bevor sie in einer Pipelineaufgabe verwendet wird. Der Bereich Globale Validierung wird geöffnet und zeigt Fehler- und Warnmeldungen an, die Sie beheben müssen. Wenn Sie eine Meldung auswählen, werden Sie zum Operator weitergeleitet, der die Fehler- oder Warnmeldung verursacht hat.