Oracle Cloud Infrastructure-Dokumentation

Pipeline verwenden

Mit einer Pipeline können Sie eine Gruppe von Aufgaben in einer Sequenz oder parallel zur Orchestrierung der Datenverarbeitung verbinden.

Durch das Erstellen einer Pipeline können Sie ein komplexes Diagramm für Aufgabenabhängigkeiten erstellen und eine gesamte Workload von Aufgaben automatisieren. Die Aufgaben müssen veröffentlicht werden, und Sie können veröffentlichte Aufgaben aus jeder Anwendung im aktuellen Workspace oder aus einem anderen Workspace hinzufügen.

In diesem Tutorial führen Sie die folgenden Schritte aus:

  • Erstellen Sie zwei Data-Loader-Aufgaben, die parallel in einer Pipeline ausgeführt werden sollen.
  • Erstellen Sie eine REST-Aufgabe, um den Benachrichtigungsservice zum Senden von E-Mail-Benachrichtigungen zu verwenden.
  • Erstellen Sie eine Pipeline, und fügen Sie Operatoren für Data-Loader-Aufgaben, Zusammenführung, Integrationsaufgabe und REST-Aufgabe hinzu.
  • Erstellen Sie eine Pipelineaufgabe, um einen Laufzeitkontext für eine Pipeline zu konfigurieren.
  • Veröffentlichen Sie eine Pipelineaufgabe, und führen Sie eine Pipeline aus.
  • Pipelineausführung überwachen.

1. Data-Loader-Aufgabe für Umsatzdaten erstellen

Duplizieren Sie die Aufgabe Load Revenue Data into Data Warehouse, um eine neue Aufgabe zu erstellen, die Umsatzdaten lädt und überschreibt.

  1. Wählen Sie auf der Seite DI Lab für Projektdetails die Option Aufgaben im Untermenü aus.
  2. Suchen Sie in der Liste Aufgaben nach Load Revenue Data into Data Warehouse.
  3. Wählen Sie das Menü "Aktionen" (Menü "Aktionen"), und wählen Sie Duplizieren.
  4. Geben Sie im Dialogfeld Aufgabe duplizieren Revenue Data Load als neuen Namen ein, und wählen Sie Duplizieren aus.

    Der Wert für die ID wird automatisch basierend auf dem angegebenen Namen generiert. Sie können den generierten Wert ändern. Nachdem Sie die neue Aufgabe gespeichert haben, dürfen Sie die ID jedoch nicht aktualisieren.

  5. Wählen Sie in der Liste Aufgaben die Option Erlösdaten laden aus.

    Die duplizierte Data-Loader-Aufgabenseite wird in einer neuen Registerkarte geöffnet.

  6. Wählen Sie das Schrittsymbol Ziel aus.
  7. Wählen Sie unter Ladeeinstellungen für Zieldatenentityen die Option Vorhandene Datenentitys verwenden aus.
  8. Wählen Sie im Menü Integrationsstrategie die Option Überschreiben aus.
  9. Aktivieren Sie unter Verfügbare Datenentitys das Kontrollkästchen für REVENUE_TARGET, und wählen Sie Als Ziel festlegen aus.

    Der Name REVENUE_TARGET wird neben Ausgewählt angezeigt.

  10. Wählen Sie Speichern aus, um die Aufgabe zu speichern und mit dem Bearbeiten fortzufahren.
  11. Wählen Sie Weiter aus, um zum Schritt Transformation zu navigieren.

    Entfernen Sie nicht die Null-Fülltransformation, die zuvor auf SRC_ORDER_NUMBER angewendet wurde.

  12. Wählen Sie Weiter, um zum Schritt Attributzuordnung zu navigieren.

    Alle Quell- und Zielattribute werden automatisch zugeordnet.

  13. Wählen Sie Weiter aus, um zum Schritt Prüfen und validieren zu navigieren.

    Die Validierung der Aufgabe beginnt automatisch.

    Eine Zusammenfassung der Konfigurationsdetails für jeden Schritt wird in einem Block dargestellt. Wenn Sie die Konfiguration eines Schrittes ändern, navigieren Sie zum Schritt Prüfen und validieren, um die Aufgabe erneut zu validieren.

    Das Ergebnis der Aufgabenvalidierung wird im letzten Block angezeigt: Validierung.

  14. Wenn die Validierung erfolgreich ist, wählen Sie Speichern und schließen.

2. Data-Loader-Aufgabe für Kundendaten erstellen

Erstellen Sie eine Data-Loader-Aufgabe, um Kundendaten in Data Warehouse zu laden, indem Sie eine neue Zieldatenentity erstellen.

  1. Wählen Sie auf der Seite DI Lab für Projektdetails die Option Aufgaben im Untermenü aus.
  2. Wählen Sie Aufgabe erstellen und dann Data Loader aus.

    Die Seite Data-Loader-Aufgabe erstellen wird in einer neuen Registerkarte geöffnet. Nummerierte und benannte Schritte oben führen Sie durch die Konfiguration. Nach der Konfiguration des Schritts wird ein Häkchen auf dem Schrittsymbol angezeigt. Um zwischen den Schritten zu wechseln, wählen Sie Weiter oder Zurück aus. Sie können auch direkt zu einem konfigurierten Schritt navigieren, indem Sie das Symbol auswählen.

  3. Wählen Sie auf der Seite Data Loader-Aufgabe erstellen im Schritt Basisinformationen Folgendes aus:
    ElementFestzulegende Einstellung
    Quelltyp Dateispeicher
    Zieltyp Datenbank
    Ladetyp Einzelne Datenentity
  4. Geben Sie als Name der Aufgabe Customer Data Load ein. Wählen Sie dann Weiter aus, um zum nächsten Schritt zu navigieren.

    Nachdem Sie den Schritt konfiguriert haben, wird ein Kontrollkästchen im Schrittsymbol Basisinformationen angezeigt.

  5. Wählen Sie im Schritt Quelle Folgendes aus:
    ElementFestzulegende Einstellung
    Datenasset Data_Lake
    Verbindung Standardverbindung
    Compartment Das Compartment mit dem Bucket, in den Sie die Beispieldatendatei CUSTOMERS.JSON hochgeladen haben
    Bucket Der Object Storage-Bucket, der die JSON-Beispieldatei enthält
  6. Wählen Sie unter Dateieinstellungen Folgendes aus:
    ElementFestzulegende Einstellung
    Dateityp JSON
    Komprimierungstyp Automatisch (Standard)
    Codierung UTF-8

    In den übrigen Feldern können Sie die Standardeinstellungen beibehalten.

  7. Aktivieren Sie unter Verfügbare Datenentitys das Kontrollkästchen für CUSTOMERS.JSON, und wählen Sie Als Quelle festlegen aus.

    Der Name CUSTOMERS.JSON wird neben Ausgewählt angezeigt.

  8. Wählen Sie Erstellen aus, um die Aufgabe zu speichern und mit dem Bearbeiten fortzufahren.
  9. Wählen Sie Weiter aus, um zum Schritt Ziel zu gelangen, und wählen Sie dann Folgendes aus:
    ElementFestzulegende Einstellung
    Datenasset Data_Warehouse
    Verbindung Standardverbindung
    Schema BETA
  10. Unter Staging-Area können Sie die Standard-Staging-Area verwenden, die beim Erstellen des Zieldatenassets eingerichtet wurde.

    Sie können das Kontrollkästchen auch deaktivieren, um einen anderen Objektspeicher-Bucket auszuwählen.

  11. Wählen Sie unter Ladeeinstellungen für Zieldatenentitys die Option Neue Datenentitys erstellen.
  12. Wählen Sie unter Optionen für Namen von Zieldatenentitys die Option Entitynamen angeben aus. Geben Sie dann im Feld Entityname CUSTOMER_JSON_TARGET ein.
  13. Wählen Sie Speichern aus, um die Aufgabe zu speichern und mit dem Bearbeiten fortzufahren.
  14. Wählen Sie den Schritt Prüfen und validieren aus, und überspringen Sie den optionalen Transformationsschritt.

    Die Validierung der Aufgabe beginnt automatisch.

    Eine Zusammenfassung der Konfigurationsdetails für jeden Schritt wird in einem Block dargestellt. Wenn Sie die Konfiguration eines Schrittes ändern, navigieren Sie zum Schritt Prüfen und validieren, um die Aufgabe erneut zu validieren.

    Das Ergebnis der Aufgabenvalidierung wird im letzten Block angezeigt: Validierung.

  15. Wenn die Validierung erfolgreich ist, wählen Sie Speichern und schließen.

3. REST-Aufgabe zum Senden von Benachrichtigungen erstellen

Mit einer REST-Aufgabe können Sie einen REST-API-Endpunkt in einer Pipeline ausführen. In diesem Tutorial verwenden Sie die Notifications-Service-API in einer Data Integration-REST-Aufgabe, um eine E-Mail aus einer Pipeline zu veröffentlichen.

Um in diesem Schritt eine REST-Aufgabe zu erstellen, benötigen Sie bereits Folgendes:

  • Ein Thema und ein E-Mail-Abonnement, die im Notifications-Service erstellt wurden.

  • Die OCID des erstellten Themas. Die OCID ist im Abschnitt "Themeninformationen" der Seite mit den Themendetails im Notifications-Service verfügbar.

  • Die folgende Policy-Anweisung, mit der Sie Data Integration-Aufgaben ausführen können, mit denen die Notifications-REST-API aufgerufen wird:

    allow any-user to use notification-family in tenancy where ALL {request.principal.type='disworkspace'}

Erstellen Sie dann in Data Integration eine REST-Aufgabe, die mit der Notifications-Service-API eine E-Mail veröffentlicht.

  1. Wählen Sie auf der Seite DI Lab für Projektdetails die Option Aufgaben im Untermenü aus.
  2. Wählen Sie Aufgabe erstellen und dann REST aus.

    Die Seite REST-Aufgabe erstellen wird auf einer neuen Registerkarte geöffnet.

  3. Geben Sie unter Name Notify by Email ein.

    Der Wert für die ID wird automatisch basierend auf dem angegebenen Namen generiert. Sie können den generierten Wert ändern. Nachdem Sie die neue Aufgabe gespeichert haben, dürfen Sie die ID jedoch nicht aktualisieren.

  4. Wählen Sie im Abschnitt REST-API-Details die Option Konfigurieren aus.

    Die Seite REST-API-Details konfigurieren wird angezeigt. Nummerierte und benannte Schritte oben führen Sie durch die Konfiguration. Nach der Konfiguration des Schritts wird ein Häkchen auf dem Schrittsymbol angezeigt. Um zwischen den Schritten zu wechseln, wählen Sie Weiter oder Zurück aus. Sie können auch direkt zu einem konfigurierten Schritt navigieren, indem Sie das Symbol auswählen.

  5. Wählen Sie unter HTTP-Methode die Option POST aus.
  6. Geben Sie im Feld URL Folgendes ein, und drücken Sie die Eingabetaste. 
    https://notification.us-ashburn-1.oci.oraclecloud.com/20181201/topics/${TOPICID}/messages
    Hinweis

    Stellen Sie sicher, dass Sie die entsprechende Regions-ID für den Notifications-Service verwenden.

    Wenn Sie nach der Eingabe der URL die Eingabetaste drücken, konvertiert Data Integration die Parametersyntax ${} in einen String-URL-Parameter.

  7. Wählen Sie in der Tabellenzeile für den neuen URL-Parameter TOPICID im Menü "Aktionen" (Menü Aktionen) die Option Bearbeiten aus.
  8. Geben Sie im Feld Wert die OCID des erstellten Notifications-Themas ein, und wählen Sie Speichern aus.
  9. Fügen Sie anschließend wie folgt einen Header hinzu:
    1. Wählen Sie Header aus.
    2. Wählen Sie Header hinzufügen aus.
    3. Geben Sie im Feld Schlüssel con ein, und wählen Sie Inhaltstyp aus der Liste aus.
    4. Geben Sie im Feld Wert app ein, und wählen Sie Anwendung/json aus der Liste aus.
    5. Klicken Sie auf Hinzufügen.
  10. Fügen Sie einen Anforderungsbody wie folgt hinzu:
    1. Wählen Sie Anforderung aus.
    2. Geben Sie im Editor Folgendes ein. 
      {"title": "Put your title here", "body": "Put your email body here."}
    3. Klicken Sie auf Hinzufügen.
  11. Wählen Sie Weiter, Konfigurieren aus.
  12. So stellen Sie die Authentifizierung bereit:
    1. Wählen Sie im Abschnitt Authentifizierung die Option Bearbeiten aus, um den Bereich Authentifizierung konfigurieren anzuzeigen.
    2. Wählen Sie im Menü Authentifizierung die Option OCI-Resource Principal aus.
    3. Wählen Sie unter Authentifizierungsquelle die Option Workspace aus.
    4. Wählen Sie Konfigurieren aus.
  13. Wählen Sie im optionalen Abschnitt Aufgabe validieren die Option Validieren aus.
  14. Wenn die Validierung erfolgreich war, wählen Sie Erstellen und schließen.

4. Data Loader- und REST-Aufgaben veröffentlichen

  1. Wählen Sie auf der Seite DI_Lab für die Projektdetails die Option Aufgaben im Untermenü aus.
  2. Aktivieren Sie in der Aufgabenliste die Kontrollkästchen neben Laden von Umsatzdaten, Laden von Kundendaten und Benachrichtigen per E-Mail.
  3. Wählen Sie In Anwendung veröffentlichen aus.
  4. Wählen Sie im Dialogfeld In App veröffentlichen die Option Lab Application aus, und wählen Sie Veröffentlichen aus.

    Daraufhin wird eine Benachrichtigung mit einem Link zur Anwendung angezeigt, um die veröffentlichten Aufgaben anzuzeigen.

  5. Wählen Sie in der Benachrichtigung die Option Anwendung anzeigen aus. Wählen Sie dann X aus, um die Benachrichtigung zu schließen.

    Die Liste Patches auf der Seite "Anwendungsdetails" wird angezeigt. Für die Aufgaben, die Sie veröffentlichen, wird ein Patch-Eintrag erstellt.

  6. In der Liste Patches können Sie den Patchstatus überwachen. Wählen Sie Aktualisieren aus, um die neuesten Statusaktualisierungen abzurufen.

    Wenn der Status eines Patches in Erfolgreich geändert wird, werden auf der Seite "Anwendungsdetails" in der Liste Aufgaben drei veröffentlichte Aufgabeneinträge erstellt.

  7. Wählen Sie auf der Detailseite für die Lab-Anwendung die Option Aufgaben aus.

    Veröffentlichte Aufgaben für Laden von Umsatzdaten, Laden von Kundendaten und Benachrichtigen per E-Mail werden in der Aufgabenliste angezeigt.

5. Pipeline erstellen

  1. Wählen Sie in der Registerkartenleiste die Registerkarte Öffnen (Plussymbol) und dann Projekte aus.
  2. Wählen Sie auf der Seite Projekte die Option DI_Lab aus.
  3. Wählen Sie auf der Seite mit den Projektdetails DI_Lab im Untermenü auf der linken Seite die Option Pipelines aus, und wählen Sie Pipeline erstellen aus.

    Der Pipelinedesigner wird auf einer neuen Registerkarte geöffnet. Ein Startoperator und ein Endoperator werden für Sie auf der Leinwand platziert.

  4. Geben Sie im Bereich Eigenschaften für die Pipeline Analyze Revenue als Name ein.

    Der Wert für die ID wird automatisch basierend auf dem Wert generiert, den Sie für den Pipelinenamen eingeben. Sie können den generierten Wert ändern. Nachdem Sie die Pipeline gespeichert haben, dürfen Sie die ID jedoch nicht aktualisieren.

  5. Wählen Sie Erstellen.

    Der Designer bleibt offen, damit Sie mit der Bearbeitung fortfahren können.

6. Pipelineoperatoren hinzufügen

Sie fügen Aufgabenoperatoren hinzu, um die veröffentlichten Aufgaben anzugeben, die in der Pipeline orchestriert werden sollen.

Weitere Informationen zu Pipelineoperatoren.

  1. Legen Sie im Bereich Operatoren einen Data Loader-Operator auf der Leinwand ab, und platzieren Sie ihn zwischen dem Start- und dem Endoperator.

    Im Bereich Eigenschaften werden jetzt die Details für den Aufgabenoperator des ungebundenen Data Loader angezeigt.

  2. Klicken Sie im Bereich Eigenschaften auf der Registerkarte Details auf Auswählen.

    Der Bereich Data-Loader-Aufgabe auswählen wird angezeigt, in dem Sie eine veröffentlichte Data-Loader-Aufgabe auswählen können.

  3. Wählen Sie unter Lab-Anwendung die Option Umsatzdaten laden (die Aufgabe, die Umsatzdaten in ein Data Warehouse lädt), und klicken Sie auf Auswählen.

    Der Name im Operatorsymbol wird in den Namen der ausgewählten Aufgabe geändert.

  4. Verbinden Sie den Startoperator mit der Umsatz-Data-Loader-Aufgabe.
  5. Um die Pipeline zu speichern und mit der Bearbeitung fortzufahren, wählen Sie Speichern aus.
  6. Wiederholen Sie die Schritte, um einen zweiten Data Loader-Operator hinzuzufügen. Wählen Sie dieses Mal Laden von Kundendaten aus (die Aufgabe, die Kundendaten lädt). Verbinden Sie dann den Startoperator mit der Data-Loader-Aufgabe des Kunden.
  7. Als Nächstes legen Sie den Operator Zusammenführen auf der Leinwand ab und platzieren ihn nach den beiden Data-Loader-Aufgaben.
  8. Verbinden Sie jede Data-Loader-Aufgabe mit dem Operator Zusammenführen.
  9. Wählen Sie auf der Registerkarte Details des Bereichs Eigenschaften für den Zusammenführungsoperator im Menü Zusammenführungsbedingung die Option Alle erfolgreich.

    Dies gibt an, dass die parallelen, verknüpften Upstreamvorgänge abgeschlossen werden müssen und erfolgreich sein müssen, bevor der nächste Downstreamvorgang fortgesetzt werden kann.

  10. Löschen Sie im Bereich Operatoren den Operator Integration auf der Leinwand, und platzieren Sie ihn nach dem Zusammenführungsoperator.
  11. Klicken Sie im Bereich Eigenschaften auf der Registerkarte Details auf Auswählen.
  12. Wählen Sie im Bereich Integrationsaufgabe auswählen die Aufgabe Kundenlabor laden aus, und klicken Sie auf Auswählen.
  13. Verbinden Sie den Zusammenführungsoperator mit dem Integrationsaufgabenoperator.
  14. Als Nächstes legen Sie den REST-Operator auf der Leinwand ab und platzieren ihn nach der Integrationsaufgabe.
  15. Klicken Sie im Bereich Eigenschaften auf der Registerkarte Details auf Auswählen.
  16. Wählen Sie im Bereich REST-Aufgabe auswählen die Aufgabe Mit E-Mail benachrichtigen aus, und klicken Sie auf Auswählen.
  17. Wählen Sie auf der Registerkarte Details des Bereichs Eigenschaften für den REST-Aufgabenoperator im Menü Eingehende Linkbedingung die Option Bei Erfolg des vorherigen Operators ausführen aus.
  18. Verbinden Sie die REST-Aufgabe mit dem Endoperator.
  19. Wählen Sie in der Leinwandsymbolleiste die Option Validieren aus.

    Im Bereich Globale Validierung werden Warnungen oder Fehler angezeigt.

  20. Um die Pipeline zu speichern, wählen Sie Speichern und schließen aus

7. Pipelineaufgabe erstellen

  1. Wählen Sie in der Registerkartenleiste die Registerkarte Öffnen (Plussymbol) und dann Projekte aus.
  2. Wählen Sie auf der Seite Projekte die Option DI_Lab aus.
  3. Wählen Sie auf die Detailseite für das Projekt DI_Lab im Untermenü links die Option Aufgaben aus.
  4. Wählen Sie Aufgabe erstellen und dann Pipeline aus.

    Die Seite Pipelineaufgabe erstellen wird auf einer neuen Registerkarte geöffnet.

  5. Ändern Sie auf der Seite Pipelineaufgabe erstellen den Namen in Analyze Revenue Lab.

    Das Eingeben einer Beschreibung ist optional. Der Wert im Feld ID wird basierend auf dem Wert, den Sie für Name eingeben, automatisch generiert. Sie können den generierten Wert ändern. Nach dem Speichern der Aufgabe sind Sie jedoch nicht berechtigt, die ID zu aktualisieren.

  6. Klicken Sie im Abschnitt Pipeline auf Auswählen.
  7. Wählen Sie im Bereich Pipeline auswählen die Option Umsatz analysieren aus, und klicken Sie auf Auswählen.

    Die Validierung der Pipeline beginnt automatisch.

  8. Wählen Sie Erstellen und schließen aus.

8. Pipelineaufgabe veröffentlichen und ausführen

  1. Wählen Sie auf der Seite DI_Lab für die Projektdetails die Option Aufgaben im Untermenü aus.
  2. Wählen Sie in der Liste Aufgaben das Menü "Aktionen" (Menü "Aktionen") für Umsatzübung analysieren aus, und wählen Sie In Anwendung veröffentlichen aus.
  3. Wählen Sie in dem Dialogfeld In App veröffentlichen die Option Lab Application aus, und wählen Sie Veröffentlichen aus.

    Eine Benachrichtigung mit einem Link zur Anwendung wird angezeigt, um veröffentlichte Aufgaben anzuzeigen.

  4. Gehen Sie zur Detailseite der Lab-Anwendung, und wählen Sie im Untermenü auf der linken Seite die Option Patches aus, um Details zum Aufgabenpatch anzuzeigen.

    Ein Patch enthält Aktualisierungen zu einer veröffentlichten Aufgabe in einer Anwendung. Wenn Sie eine Aufgabe veröffentlichen, wird ein Patch veröffentlicht. Weitere Informationen zu Patches.

  5. In der Liste Patches können Sie den Patchstatus überwachen. Wählen Sie Aktualisieren aus, um die neuesten Statusaktualisierungen abzurufen.

    Wenn der Status eines Patches in Erfolgreich geändert wird, wird auf der Seite "Anwendungsdetails" in der Liste Aufgaben ein veröffentlichter Aufgabeneintrag erstellt.

  6. Wählen Sie auf der Detailseite für die Lab-Anwendung die Option Aufgaben aus.

    Die in der Pipeline veröffentlichte Aufgabe Umsatzlabor analysieren wird in der Aufgabenliste angezeigt.

  7. Wählen Sie das Menü "Aktionen" (Menü "Aktionen") für die Pipelineaufgabe aus, und wählen Sie Ausführen aus.

    Eine Erfolgsmeldung wird angezeigt. Wenn Sie eine Aufgabe ausführen, wird eine Aufgabenausführung erstellt. Sie werden automatisch zur Seite Ausführungen weitergeleitet, auf der Sie alle Aufgabenausführungen und deren Status anzeigen können. Der anfängliche Status einer Pipelineausführung lautet Not started.

  8. Wählen Sie in der Liste Ausführungen der Detailseite der Lab-Anwendung die Option Aktualisieren aus, um die neuesten Statusaktualisierungen von Aufgabenausführungen abzurufen.

    Beachten Sie, dass die Ausführung einer Pipeline Schritte zur Vorverarbeitung, Annahme und Validierung enthält, bevor die Ausführungs-Engine die eigentliche Pipelineausführung startet.

    Wählen Sie mehrmals die Option Aktualisieren, bis der Status Wird ausgeführt angezeigt wird.

  9. Wenn die Pipelineaufgabe ausgeführt wird, wählen Sie den Namen der Aufgabenausführung aus.

    Die Seite "Ausführungsdetails" wird angezeigt, auf der Sie den Fortschritt der Pipelineausführung im Pipelinediagramm überwachen können. Der Status jedes Knotens wird durch ein Symbol und ein Label angezeigt. Beispiel: Ein grünes Häkchen für einen abgeschlossenen Knoten, das Label Running für ausgeführte Aufgaben und das Label Waiting für eine Downstreamaufgabe, die auf die Ausführung wartet.

    Wählen Sie mehrmals die Option Aktualisieren aus, bis der Gesamtstatus der Pipelineausführung Erfolgreich angezeigt wird.

    Sie können auch Überblick auswählen, um weitere Details zur Pipelineausführung anzuzeigen.

  10. Wenn die Pipelineausführung erfolgreich ausgeführt wurde, gehen Sie zur Liste Ausführungen der Detailseite der Lab-Anwendung, und blenden Sie den Hauptausführungseintrag für die Pipelineaufgabenausführung ein.

    Sie können Ausführungsdetails von vier einzelnen Aufgaben in der Pipeline anzeigen.

    Sie hätten auch eine E-Mail vom Notifications-Service erhalten.