Oracle Cloud Infrastructure-Dokumentation

Integrationsaufgabe erstellen

Integrationsaufgaben in einem Projekt oder Ordner in Data Integration erstellen Mit einer Integrationsaufgabe können Sie einen Data Integration-Datenfluss ausführen und die Parameterwerte konfigurieren, die Sie zur Laufzeit verwenden möchten.

Data Integration enthält ein Standardprojekt für die ersten Schritte. Informationen zum Erstellen eines eigenen Projekts oder Ordners finden Sie unter Projekte und Ordner. Eine Integrationsaufgabe in einem Projekt oder Ordner kann einen Datenfluss aus einem beliebigen Projekt oder Ordner im selben Workspace referenzieren.

In Data Integration können Sie standardmäßig gleichzeitige oder parallele Aufgabenausführungen einer Aufgabe zu einem bestimmten Zeitpunkt durchführen. Um nicht gleichzeitig gestartete Aufgabenausführungen manuell zuzulassen, aktivieren Sie beim Erstellen der Aufgabe das Kontrollkästchen Gleichzeitige Ausführung der Aufgabe deaktivieren. Wenn gleichzeitige Aufgabenausführungen nicht zulässig sind, verläuft eine Ausführungsanforderung für die Aufgabe nicht erfolgreich, wenn bereits eine Aufgabenausführung in Bearbeitung ist, die sich in einem nicht-terminalen Status befindet.

Um die Ausführungskonfiguration einer Aufgabe zur Verwendung des OCI Data Flow-Service zu aktualisieren, stellen Sie sicher, dass Sie die erforderlichen Ressourcen wie Objektspeicher-Buckets und Data Flow-Pools bereits erstellt haben, wie unter Erforderliches Setup und erforderliche Policys für die Ausführung von Aufgaben durch OCI Data Flow-Service beschrieben.

    1. Wählen Sie auf der Seite Aufgaben des Projekts oder Ordners, in dem Sie eine Aufgabe erstellen möchten, die Option Aufgabe erstellen und dann Integration aus. Wenn Sie Hilfe beim Suchen der Seite Aufgaben in einem Projekt oder Ordner benötigen, finden Sie weitere Informationen unter Aufgaben auflisten.
    2. Geben Sie auf der Seite Integrationsaufgabe erstellen die folgenden grundlegenden Informationen ein:
      1. Geben Sie in die Felder Name und ID die gewünschten Werte ein, oder lassen Sie Data Integration die Werte automatisch ausfüllen, basierend auf dem Namen des Datenflusses, den Sie für diese Aufgabe auswählen (im nächsten Schritt).

        Wenn Data Integration die Felder automatisch ausfüllen soll, dürfen Sie keine Werte ändern oder eingeben, bevor Sie einen Datenfluss auswählen. Sie können die Werte ändern, nachdem die Felder mit Werten aufgefüllt wurden, die auf dem Namen des ausgewählten Datenflusses basieren.

        In beiden Fällen ist die ID ein systemgenerierter Wert, der auf dem Namen basiert. Sie können den Wert ändern. Nachdem Sie die Aufgabe erstellt und gespeichert haben, können Sie die ID jedoch nicht mehr aktualisieren.

      2. (Optional) Geben Sie eine Beschreibung für die Aufgabe ein.
      3. Aktivieren Sie das Kontrollkästchen Gleichzeitige Ausführung der Aufgabe deaktivieren, wenn Sie gleichzeitige Ausführungen dieser Aufgabe nicht zulassen möchten.
      4. (Optional) Klicken Sie für Projekt oder Ordner auf Auswählen, und wählen Sie ein anderes Projekt oder einen anderen Ordner zum Speichern der Aufgabe aus.
    3. Klicken Sie im Abschnitt Datenfluss auf Auswählen, und wählen Sie den Datenfluss aus, den diese Aufgabe ausführt, indem Sie die folgenden Schritte ausführen:
      1. Führen Sie im Bereich Datenfluss auswählen eine der folgenden Aktionen aus:
        • Wählen Sie einen Datenfluss aus, der im Projekt oder Ordner gespeichert ist, in dem Sie aktuell arbeiten.
        • Um einen Datenfluss auszuwählen, der in einem anderen Projekt oder Ordner gespeichert ist, klicken Sie neben dem aktuellen Projekt- oder Ordnernamen auf Auswählen. Wählen Sie im daraufhin angezeigten Bereich Projekt oder Ordner auswählen das Projekt oder den Ordner aus, und klicken Sie auf Auswählen. Wählen Sie dann den Datenfluss aus der Liste der verfügbaren Datenflüsse aus.
      2. Klicken Sie auf Wählen.

        Data Integration beginnt mit der Validierung des ausgewählten Datenflusses, und Sie kehren zur Seite Integrationsaufgabe erstellen zurück.

        Wenn Fehler oder Warnungen im Datenfluss angezeigt werden, können Sie den Namen des Datenflusses auswählen, um ihn in einer neuen Registerkarte zu öffnen. Beheben Sie die Fehler oder Warnungen, und speichern Sie den Datenfluss. Wenn Sie zurück zur Seite Integrationsaufgabe erstellen navigieren, validiert Data Integration den Datenfluss automatisch erneut.

    4. Um die Aufgabe zum ersten Mal zu speichern, wählen Sie eine der folgenden Schaltflächen:

      • Erstellen: Erstellt und speichert die Aufgabe. Sie können die Aufgabe weiter erstellen und bearbeiten.

      • Erstellen und schließen: Erstellt und speichert die Aufgabe, schließt die Seite und kehrt zur Aufgabenliste auf der Detailseite des Projekts oder Ordners zurück.

    5. Speichern Sie regelmäßig, indem Sie eine der folgenden Schaltflächen auswählen:

      • Speichern: Schreibt die Änderungen seit dem letzten Speichern fest. Nach dem Speichern können Sie mit der Bearbeitung fortfahren.

      • Speichern und schließen: Schreibt Änderungen fest, schließt die Seite und kehrt zur Aufgabenliste auf der Detailseite des Projekts oder Ordners zurück.

      • Speichern unter: Schreibt Änderungen (seit dem letzten Speichern) fest und speichert sie in einer Kopie, anstatt die aktuelle Aufgabe zu überschreiben. Sie können einen Namen für die Kopie angeben und ein anderes Projekt oder einen anderen Ordner für die Kopie auswählen oder die Kopie in demselben Projekt oder Ordner wie die vorhandene Aufgabe speichern.

    6. Führen Sie im Abschnitt Konfiguration ausführen einen der folgenden Schritte aus:

      • Standardmäßig werden alle Aufgaben, die Sie in Data Integration erstellen, für die Ausführung im OCI Data Integration-Service konfiguriert, wie durch das Label Aufgabenausführungsservice: OCI Data Integration-Service angegeben. Es ist keine zusätzliche Konfiguration erforderlich. Gehen Sie zum 10. Schritt.

      • Um diese Aufgabe im OCI Data Flow-Service auszuführen, wählen Sie Bearbeiten aus.

        Hinweis

        Stellen Sie sicher, dass Sie bereits die erforderlichen Ressourcen und Policys für die Verwendung des OCI Data Flow-Service erstellt haben. Siehe Erforderliches Setup und erforderliche Policys für die Ausführung von Aufgaben durch OCI Data Flow Service.

        Wenn Sie die Voraussetzungen erfüllt haben, fahren Sie mit Schritt 9 fort, um die Ausführungskonfiguration der Aufgabe zu aktualisieren, und verwenden Sie optional Parameter für die Ausführungseigenschaften.

    7. Wählen Sie auf der Seite Aufgabenausführungskonfiguration aktualisieren die Option OCI Data Flow-Service aus. Führen Sie dann die folgende Auswahl aus, um die Ausführungseigenschaften für OCI Data Flow zu aktualisieren oder zu parametrisieren.

      Diese Schritte sollten nur ausgeführt werden, nachdem Sie die erforderlichen Aufgaben erfüllt haben, wie unter Erforderliches Setup und erforderliche Policys für die Ausführung von Aufgaben durch OCI Data Flow Service beschrieben.

      1. Wählen Sie den Pool in OCI Data Flow aus, um diese Aufgabe auszuführen.
      2. (Optional) Wählen Sie den privaten Endpunkt in OCI Data Flow aus.
      3. Wählen Sie unter Log-Bucket-Pfad den Objektspeicher-Bucket aus, der für Ausführungslogs der OCI Data Flow-Anwendung verwendet werden soll.

        Wenn Sie die OCI Data Flow-Serviceausführungskonfiguration der Aufgabe zum ersten Mal bearbeiten, und der Bucket dis-df-system-bucket bereits in Object Storage vorhanden ist, wählt Data Integration diesen Bucket automatisch aus, wie durch oci://dis-df-system-bucket@<tenancy-name> im Auswahlfeld angegeben.

      4. Wählen Sie unter Artefakt-Bucket-Pfad den Objektspeicher-Bucket aus, der für Data Integration-Ausführungsjobartefakte wie JAR- und ZIP-Dateien verwendet werden soll.

        Wenn Sie die OCI Data Flow-Serviceausführungskonfiguration der Aufgabe zum ersten Mal bearbeiten, und der Bucket dis-df-system-bucket bereits in Object Storage vorhanden ist, wählt Data Integration diesen Bucket automatisch aus, wie durch oci://dis-df-system-bucket@<tenancy-name> im Auswahlfeld angegeben.

      5. (Optional) Wählen Sie unter Anwendungs-Compartment das Compartment für die OCI Data Flow-Anwendung aus, das erstellt wird, wenn Data Integration-Serviceaufgaben im Data Flow-Service ausgeführt werden.

        Wenn kein Anwendungs-Compartment angegeben ist, wird das Compartment der Data Integration-Anwendung verwendet.

      6. Geben Sie die Mindestanzahl von Mitarbeitern (oder Ausführenden) ein, die für OCI Data Flow-Jobs verwendet werden sollen.

        Der Standard ist 1. Wenn der Wert für Maximale Worker-Anzahl ebenfalls 1 lautet, wird die dynamische Zuweisung für OCI Data Flow-Jobs nicht verwendet.

      7. Geben Sie die maximale Anzahl der Worker (oder Executors) ein, die für OCI Data Flow-Jobs verwendet werden sollen.

        Der Standardwert ist 1. Dies bedeutet, dass die dynamische Zuordnung nicht verwendet wird. Wenn Sie die dynamische Zuweisung für OCI Data Flow-Jobs verwenden möchten, geben Sie einen größeren Wert an. Dieser Wert muss größer/gleich dem Wert für Mindestanzahl Mitarbeiter sein.

      8. (Optional) Geben Sie unter OCI Data Flow-Spark-Konfigurationseigenschaften mindestens eine Spark-Eigenschaft ein, die für die Aufgabenausführung verwendet werden soll.

        Eine Spark-Eigenschaft ist ein Schlüssel/Wert-Paar. Wählen Sie Weitere Eigenschaft aus, um bei Bedarf weitere Schlüssel/Wert-Paare hinzuzufügen.

        Die Spark-Konfigurationseigenschaften, die Sie hinzufügen können, finden Sie unter Unterstützte Spark-Eigenschaften.

      9. (Optional) Nachdem Sie eine Aufgabenausführungseigenschaft konfiguriert haben (Schritte 9a bis 9h), wählen Sie Parametrisieren aus, die unterhalb des konfigurierten Eigenschaftswerts liegt, um dieser Eigenschaft einen Parameter zuzuweisen.

        Bei der Parametrierung fügt Data Integration einen Parameter vom Typ "Zeichenfolge" hinzu und setzt den Standardparameterwert auf den Wert, der derzeit für diese Eigenschaft konfiguriert ist. Das Label Parametrisiert gefolgt von einem Parameternamen wird angezeigt. Beispiel: Parametrisiert: OCI_DF_POOL

        Die Parameternamen lauten:

        Aufgabenausführungseigenschaft Parametername
        Pool OCI_DF_POOL
        Privater Endpunkt OCI_DF_PRIVATE_ENDPOINT
        Log-Bucket-Pfad OCI_DF_LOG_BUCKET
        Artefakt-Bucket-Pfad OCI_DF_ARTIFACT_BUCKET
        Anwendungs-Compartment OCI_DF_APP_COMPARTMENT
        Minimale Worker-Anzahl OCI_DF_MIN_WORKERS
        Maximale Worker-Anzahl OCI_DF_MAX_WORKERS
        Benutzerdefinierte OCI Data Flow-Konfiguration OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        Die Aktionen für einen Parameter sind:

        • Wählen Sie Bearbeiten aus, um eine Parameterbeschreibung hinzuzufügen oder zu bearbeiten. Parametername und -typ können nicht bearbeitet werden. Wenn eine Parameterbeschreibung hinzugefügt wird, wird sie als Tipp im Fensterbereich angezeigt, um Parameterwerte zur Entwurfszeit oder zur Laufzeit zu ändern.
        • Wählen Sie Entfernen aus, wenn eine Eigenschaft nicht mehr parametrisiert werden soll.
      10. Wählen Sie Speichern aus.
    8. (Optional) Wenn Parameter im ausgewählten Datenfluss zugewiesen sind, können Sie die Standardparameterwerte wie folgt anzeigen und ändern:
      1. Wählen Sie im Abschnitt Parameter konfigurieren die Option Konfigurieren aus.
      2. Ändern Sie auf der Seite Parameter konfigurieren die Standardwerte nach Bedarf.

        Beachten Sie beim Bearbeiten der Standardwerte die folgenden Einschränkungen:

        • Wenn die inkrementelle Exportstrategie für eine BICC-Quelle so konfiguriert ist, dass ein Datum verwendet wird, das vom Data Integration-Systemparameter SYS.LAST_LOAD_DATE verwaltet wird, dürfen Sie den Datumswert während der Entwurfszeit nicht ändern.

        • Wenn die inkrementelle Exportstrategie für eine BICC-Quelle so konfiguriert ist, dass sie ein parametrisiertes letztes Exportdatum verwendet, das Sie hinzugefügt haben, können Sie den Datumswert während der Entwurfszeit und Laufzeit ändern.

        • Wenn eine parametrisierte Zieldatenentity für die Verwendung der Zusammenführungsstrategie konfiguriert ist, können Sie die Auswahl des Zusammenführungsschlüssels ändern.

        • Für ein parametrisiertes Datenasset, für das eine Staging Area erforderlich ist: Wenn Sie ein Datenasset auswählen, für das keine Standard-Staging Area in diesem Datenasset angegeben ist, zeigt Data Integration eine Warnmeldung an. Wenn die Benachrichtigung angezeigt wird, wählen Sie eine der folgenden Optionen:
          • Aktualisieren Sie dieses Datenasset, indem Sie eine Standard-Staging Area hinzufügen.
          • Wählen Sie ein anderes Datenasset mit einer Standard-Staging Area aus.

      3. Wählen Sie Konfigurieren oder Abbrechen aus.
        Sie kehren zur Seite Integrationsaufgabe erstellen zurück.
    9. (Optional) Wählen Sie im Abschnitt Aufgabe validieren die Option Validieren aus, um die Parameterkonfigurationen zu prüfen.

      Wenn Fehler oder Warnungen vorhanden sind, wählen Sie Nachrichten anzeigen. Lösen Sie alle Fehler, bevor Sie die Aufgabe veröffentlichen.

    10. Wenn Sie die Konfiguration der Aufgabe abgeschlossen haben, wählen Sie Erstellen und schließen oder Speichern und schließen aus.
    Veröffentlichen Sie die Integrationsaufgabe in einer Anwendung in Data Integration, bevor Sie die Aufgabe ausführen oder die Ausführung der Aufgabe planen. Sie können die Integrationsaufgabe gegebenenfalls auch in OCI Data Flow veröffentlichen. Informationen zur Veröffentlichung finden Sie unter Aufgabenveröffentlichung.

  • Verwenden Sie den Befehl oci data-integration task create-integration-task und die erforderlichen Parameter, um eine Integrationsaufgabe zu erstellen:

    oci data-integration task create-integration-task [OPTIONS]

    Eine vollständige Liste der Kennzeichen und Variablenoptionen für CLI-Befehle finden Sie in der Befehlszeilenreferenz.

  • Führen Sie den Vorgang CreateTask mit dem entsprechenden Ressourcensubtyp aus, um eine Integrationsaufgabe zu erstellen.