Oracle Cloud Infrastructure-Dokumentation

OCI Data Flow-Aufgabe erstellen

Eine OCI Data Flow-Aufgabe in Data Integration ist mit einer vorhandenen Anwendung verknüpft, die in OCI Data Flow erstellt wurde.

Bevor Sie eine OCI Data Flow-Aufgabe erstellen, stellen Sie sicher, dass Sie über die erforderlichen Policys, das Setup und die Informationen verfügen, die Sie für die Arbeit mit OCI Data Flow-Aufgaben in Data Integration benötigen, wie unter Erforderliche Policys und Setup beschrieben.

Erstellen Sie eine OCI Data Flow-Aufgabe in einem Projekt oder Ordner. Data Integration enthält ein Standardprojekt für die ersten Schritte. Informationen zum Erstellen eines weiteren Projekts oder Ordners finden Sie unter Projekte und Ordner.

In Data Integration können Sie standardmäßig gleichzeitige oder parallele Aufgabenausführungen einer Aufgabe zu einem bestimmten Zeitpunkt durchführen. Um nicht gleichzeitig gestartete Aufgabenausführungen manuell zuzulassen, aktivieren Sie beim Erstellen der Aufgabe das Kontrollkästchen Gleichzeitige Ausführung der Aufgabe deaktivieren. Wenn gleichzeitige Aufgabenausführungen nicht zulässig sind, verläuft eine Ausführungsanforderung für die Aufgabe nicht erfolgreich, wenn bereits eine Aufgabenausführung in Bearbeitung ist, die sich in einem nicht-terminalen Status befindet.

Hinweis

Überlegungen zur Verwendung flexibler Ausprägungen:

  • Wenn Sie eine flexible Ausprägung (wie VM.Standard.E4.Flex) für den Treiberknoten, den Executor-Knoten oder beides verwenden, passen Sie die Anzahl der OCPUs und den benötigten Arbeitsspeicher an.

  • Eine flexible Ausprägung bietet einen bestimmten Bereich von OCPUs-Werten, die Sie für diese Ausprägung verwenden können.

  • Die Anzahl der OCPUs, die Sie für eine Ausprägung verwenden, bestimmt den Bereich der Speicherwerte, die Sie zuweisen können.

  • Wenn Sie die Treiber- oder Executor-Ausprägung parametrisieren, müssen OCPUs und Arbeitsspeicher für die Ausprägung konfiguriert werden. Die Werte von OCPUs und Arbeitsspeicher werden nur verwendet, wenn der Ausprägungsparameterwert eine flexible Ausprägung ist. Die OCPUs und Speicherwerte werden ignoriert, wenn im Parameter eine nicht flexible Ausprägung konfiguriert ist.

    1. Wählen Sie auf der Seite Aufgaben des Projekts oder Ordners, in dem Sie eine Aufgabe erstellen möchten, die Option Aufgabe erstellen und dann OCI Data Flow aus. Wenn Sie Hilfe beim Suchen der Seite Aufgaben in einem Projekt oder Ordner benötigen, finden Sie weitere Informationen unter Aufgaben auflisten.
    2. Geben Sie auf der Seite OCI Data Flow-Task erstellen einen Namen und eine optionale Beschreibung ein.

      Die ID ist ein vom System generierter Wert, der auf dem Namen basiert. Sie können den Wert ändern. Nachdem Sie die Aufgabe erstellt und gespeichert haben, können Sie die ID jedoch nicht mehr aktualisieren.

    3. Aktivieren Sie das Kontrollkästchen Gleichzeitige Ausführung der Aufgabe deaktivieren, wenn Sie gleichzeitige Ausführungen dieser Aufgabe nicht zulassen möchten.
    4. (Optional) Klicken Sie für Projekt oder Ordner auf Auswählen, und wählen Sie ein anderes Projekt oder einen anderen Ordner zum Speichern der Aufgabe aus.
    5. Um die Aufgabe zum ersten Mal zu speichern, wählen Sie eine der folgenden Schaltflächen:

      • Erstellen: Erstellen und speichern Sie die Aufgabe. Sie können die Aufgabe weiter erstellen und bearbeiten.

      • Erstellen und schließen: Erstellt und speichert die Aufgabe, schließt die Seite und kehrt zur Aufgabenliste auf der Detailseite des Projekts oder Ordners zurück.

    6. Speichern Sie regelmäßig, indem Sie eine der folgenden Schaltflächen auswählen:

      • Speichern: Schreibt die Änderungen seit dem letzten Speichern fest. Nach dem Speichern können Sie mit der Bearbeitung fortfahren.

      • Speichern und schließen: Schreibt Änderungen fest, schließt die Seite und kehrt zur Aufgabenliste auf der Detailseite des Projekts oder Ordners zurück.

      • Speichern unter: Schreibt Änderungen (seit dem letzten Speichern) fest und speichert sie in einer Kopie, anstatt die aktuelle Aufgabe zu überschreiben. Sie können einen Namen für die Kopie angeben und ein anderes Projekt oder einen anderen Ordner für die Kopie auswählen oder die Kopie in demselben Projekt oder Ordner wie die vorhandene Aufgabe speichern.

    7. Klicken Sie im Abschnitt OCI Data Flow-Anwendung auf Auswählen, und wählen Sie die OCI Data Flow-Anwendung aus, die diese Aufgabe ausgeführt wird. Führen Sie dazu die folgenden Schritte aus:
      1. Wählen Sie auf der Seite OCI Data Flow-Anwendung auswählen das Compartment aus, das die Anwendung enthält, die Sie mit der Aufgabe verknüpfen möchten.
      2. Wählen Sie in der Liste Anwendungen die Anwendung aus.
      3. Klicken Sie auf Wählen.

        Sie kehren zur Seite OCI Data Flow-Aufgabe erstellen zurück.

    8. Wählen Sie im Abschnitt Eigenschaften konfigurieren die Option Konfigurieren aus, um für die ausgewählte Anwendung die Eigenschaften zu konfigurieren.

      Die Seite Konfiguration wird angezeigt.

      1. (Optional) Erstellen Sie im Abschnitt Skalare Parameter die skalaren Parameter, die Sie zur Angabe von Argumenten im Eigenschaftsfeld Argumente verwenden möchten.

        • Wählen Sie Skalare Parameter hinzufügen aus, um einen skalaren Parameter zu erstellen. Geben Sie im angezeigten Bereich einen Namen und eine optionale Beschreibung ein, und wählen Sie einen Datentyp aus der Liste der unterstützten Typen aus. Je nach ausgewähltem Datentyp können weitere Felder ausgefüllt werden. Beispiel: Ein VARCHAR-Typ enthält das Feld "Länge".

          Legen Sie einen Standardwert für diesen skalaren Parameter fest, und wählen Sie Hinzufügen aus. Der Bereich wird geschlossen, und die vollständige Seite Konfiguration wird erneut angezeigt.

          Nachdem ein skalarer Parameter erstellt wurde, kann nur der Standardwert zur Entwurfs- oder Laufzeit geändert werden.

        • Wählen Sie Skalare Parameter anzeigen aus, um eine Liste der skalaren Parameter anzuzeigen, die bereits erstellt wurden und für diese Aufgabe verfügbar sind. Notieren Sie sich im angezeigten Bereich den Namen des Skalarparameters, den Sie verwenden möchten.
      2. Geben Sie die folgenden Eigenschaftswerte direkt an, oder parametrisieren Sie die Eigenschaften (mit Standardwerten). Wenn Sie die Anwendungseigenschaften in diesem Schritt nicht explizit konfigurieren, werden die in der OCI Data Flow-Anwendung definierten Standardwerte verwendet.

        • Treiberausprägung: Wählen Sie den Typ des Clusterknotens aus, der für den Spark-Treiberhost verwendet werden soll.

          Wenn eine flexible Ausprägung ausgewählt ist, wählen Sie die Anzahl der OCPUs und die Arbeitsspeichermenge aus, die der ausgewählten Ausprägung zugewiesen werden kann. Die zulässigen Werte für OCPUs hängen von der ausgewählten Ausprägung ab. Die zulässigen Werte für den Speicher hängen vom ausgewählten OCPUs-Wert ab.

        • Executor-Ausprägung: Wählen Sie den Typ des Clusterknotens aus, der für jeden Spark-Executor-Host verwendet werden soll.

          Wenn eine flexible Ausprägung ausgewählt ist, wählen Sie die Anzahl der OCPUs und die Arbeitsspeichermenge aus, die der ausgewählten Ausprägung zugewiesen werden kann. Die zulässigen Werte für OCPUs hängen von der ausgewählten Ausprägung ab. Die zulässigen Werte für den Speicher hängen vom ausgewählten OCPUs-Wert ab.

        • Anzahl Executors: Geben Sie die Anzahl der Spark-Executor-Clusterknoten ein, die gestartet werden sollen, wenn die OCI Data Flow-Anwendung ausgeführt wird.

        • Argumente: Geben Sie eine durch Komma getrennte Liste der Argumente ein, die an die Hauptklasse der Java-, Python- oder Scala-Anwendung übergeben werden sollen.

          Um einen skalaren Parameter in dem Feld zu verwenden, geben Sie die Syntax ${PARAMETER_NAME} für einen Parameter oder eine durch Komma getrennte Liste ein, wenn Sie mehrere Parameter hinzufügen. Beispiel: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Sie können die Eigenschaft Argumente nicht parametrisieren, wenn skalare Parameter für parametrisierte Argumentwerte verwendet werden. Um die Eigenschaft zu parametrisieren, entfernen Sie die skalaren Parameter im Feld.

      3. So weisen Sie den Eigenschaftswerten Parameter zu:

        1. Wählen Sie Parameter zuweisen neben einer Eigenschaft aus.

          Wenn Sie die Treiber- oder Executor-Ausprägung parametrisieren, müssen OCPUs und Arbeitsspeicher für die Ausprägung konfiguriert werden. Die Werte von OCPUs und Arbeitsspeicher werden nur verwendet, wenn der Ausprägungsparameterwert eine flexible Ausprägung ist. Die OCPUs und Speicherwerte werden ignoriert, wenn im Parameter eine nicht flexible Ausprägung konfiguriert ist.

          Hinweis

          Sie können die Eigenschaft Argumente nicht parametrisieren, wenn sie skalare Parameter verwendet. Um die Eigenschaft zu parametrisieren, entfernen Sie ${PARAMETER_NAME} im Feld, und wählen Sie Parameter zuweisen aus.

        2. Führen Sie auf der Seite Parameter zuweisen eine der folgenden Aktionen aus:

          • Wählen Sie einen Parameter in der Liste aus. In der Liste werden nur Parameter desselben Eigenschaftstyps zur Auswahl angezeigt.
          • Wählen Sie Parameter hinzufügen aus. Im Bereich Parameter hinzufügen geben Sie einen Namen (Identifier) und eine optionale Beschreibung an. Wählen Sie dann je nach Eigenschaftstyp den Standardwert aus, oder geben Sie den Standardwert für die Eigenschaft ein, und wählen Sie Hinzufügen aus. Der hinzugefügte Parameter wird automatisch auf der Seite Parameter zuweisen ausgewählt.

        3. Wählen Sie Zuweisen aus.

          Wenn Sie die OCPUs und Speicherwerte für eine flexible Ausprägung parametrisieren, zeigt Data Integration eine Fehlermeldung an, wenn Sie einen Wert angeben, der nicht im zulässigen Wertebereich für diese Eigenschaft liegt. Bearbeiten Sie den Parameter, und geben Sie einen der zulässigen Werte ein.

      4. (Optional) Fügen Sie unter Spark-Konfigurationseigenschaften ein Schlüsselpaar für eine Eigenschaft hinzu. Wählen Sie Weitere Eigenschaft aus, wenn Sie weitere Schlüsselpaare hinzufügen müssen.

        Die Spark-Konfigurationseigenschaften, die Sie hinzufügen können, können von der Spark-Version der ausgewählten OCI Data Flow-Anwendung abhängen. Siehe Unterstützte Spark-Eigenschaften.

      5. Wenn Sie die Konfiguration der OCI Data Flow-Anwendungseigenschaften und Spark-Eigenschaften abgeschlossen haben, wählen Sie Fertig aus.

        Sie kehren zur Seite OCI Data Flow-Aufgabe erstellen zurück.

        Im Abschnitt Eigenschaften konfigurieren wird die Anzahl der zugewiesenen Parameter in Klammern neben Parameter anzeigen angezeigt.

    9. (Optional) Wählen Sie Parameter anzeigen aus, um die zugewiesenen Parameter zu prüfen, einen Standardparameterwert zu bearbeiten oder einen Parameter zu löschen.

      Bearbeiten Sie auf der Seite Parameter anzeigen einen Standardwert, oder löschen Sie einen Parameter über das Menü "Aktionen" (Menü "Aktionen") des Parameters. Wenn Sie einen Parameter löschen, wird der Wert, der dem Parameter zugewiesen ist, zum Standardwert dieser Eigenschaft.

    10. (Optional) Wählen Sie im Abschnitt Aufgabe validieren die Option Validieren aus, um die Eigenschaftskonfigurationen zu prüfen.
    11. Wenn Sie die Konfiguration der Aufgabe abgeschlossen haben, wählen Sie Erstellen und schließen oder Speichern und schließen aus.
    Veröffentlichen Sie die OCI Data Flow-Aufgabe in einer Anwendung in Data Integration, bevor Sie die Aufgabe ausführen oder die Ausführung der Aufgabe planen. Informationen zur Veröffentlichung finden Sie unter In einer Data Integration-Anwendung veröffentlichen.

  • Verwenden Sie den Befehl OCI data-integration task create-task-from-dataflow-task und die erforderlichen Parameter, um eine OCI Data Flow-Aufgabe zu erstellen:

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Eine vollständige Liste der Kennzeichen und Variablenoptionen für CLI-Befehle finden Sie in der Befehlszeilenreferenz.

  • Führen Sie den Vorgang CreateTask mit dem entsprechenden Ressourcensubtyp aus, um eine OCI Data Flow-Aufgabe zu erstellen.