Oracle Cloud Infrastructure-Dokumentation

Mit OCI Data Flow-Aufgaben arbeiten

Mit einer Oracle Cloud Infrastructure Data Flow-Aufgabe können Sie eine OCI Data Flow-Anwendung in Data Integration planen, ausführen und überwachen.

Eine in OCI Data Flow erstellte Anwendung besteht aus einer Spark-Anwendung und -Version, Abhängigkeiten, Standardparametern und einer Spezifikation von Standardlaufzeitressourcen.

Zum Erstellen und Ausführen von OCI Data Flow-Aufgaben in Data Integration sind die relevanten Berechtigungen und IAM-Policys für den Zugriff auf Anwendungen in OCI Data Flow. Weitere Informationen finden Sie unter Erforderliche Policys und Setup.

Auf den folgenden Seiten wird beschrieben, wie Sie OCI Data Flow-Aufgaben in Data Integration erstellen, bearbeiten und löschen können:

Auf den folgenden Seiten werden andere Verwaltungsaufgaben beschrieben, die ausgeführt werden können:

Erforderliche Policys und Setup

Verwenden Sie vor dem Erstellen einer OCI Data Flow-Anwendung die folgende Aufgabencheckliste, um sicherzustellen, dass Sie über das erforderliche Setup und die erforderlichen Informationen zur Verwendung von OCI Data Flow-Aufgaben in Data Integration verfügen.

Aufgabe Anforderung
Zugriff auf Oracle Cloud Infrastructure Data Flow erhalten

In diesem Thema wird davon ausgegangen, dass Sie die erforderlichen Elemente zur Verwendung von OCI Data Flow und zum Erstellen von Anwendungen in OCI Data Flow bereits eingerichtet haben.

Erste Schritte mit OCI Data Flow

Die OCI Data Flow-Task, die Sie in Data Integration erstellen, ist mit einer in OCI Data Flow erstellten Anwendung verknüpft.
Anwendung in OCI Data Flow erstellen

Um eine OCI Data Flow-Aufgabe in Data Integration zu verwenden, müssen Sie die Anwendung für die gewünschte Sprache bereits in OCI Data Flow erstellt haben.

Siehe OCI Data Flow-Anwendungen erstellen.
Details einer Anwendung in OCI Data Flow abrufen

Erfassen Sie die folgenden Details der Anwendung, die Sie in OCI Data Flow erstellt haben:

  • Compartment, in dem die OCI Data Flow-Anwendung erstellt wird
  • Name der OCI Data Flow-Anwendung
  • Gegebenenfalls die Argumente, die die Hauptklasse aufrufen

Policys erstellen

So ermöglichen Sie Data Integration das Erstellen von und das Zugreifen auf Anwendungen in OCI Data Flow:

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Damit Data Integration OCI Data Flow-Aufgaben mit konfiguriertem Metastore auslöst, erstellen Sie zwei dynamische Gruppen und eine Regel für jede dynamische Gruppe:

Erstellen Sie die folgende Vergleichsregel in <dynamic-group-name>:

ANY {resource.id = '<workspace-ocid>>'}

Erstellen Sie die folgende Vergleichsregel in <dynamic-group-name-1>:

ANY {resource.id = '<datacatalog-metastore-ocid>'}

Fügen Sie dann die folgenden Policys hinzu:

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>
Hinweis

  • Die in diesem Thema angegebenen Policy-Anweisungen sind nur Beispiele. Stellen Sie sicher, dass Sie Policys schreiben, die Ihren eigenen Anforderungen entsprechen.

  • Mandantenübergreifende Policys sind erforderlich, wenn sich die Ressourcen (wie Object Storage-Objekte und -Buckets) und der Data Integration-Workspace in verschiedenen Mandanten befinden. Unter Policy-Beispiele und im Blog Policys in Oracle Cloud Infrastructure (OCI) Data Integration finden Sie die Policys für Ihre Anforderungen.

  • Nachdem Sie IAM-Komponenten hinzugefügt haben (z.B. dynamische Gruppen und Policy-Anweisungen), versuchen Sie nicht, die zugehörigen Aufgaben sofort auszuführen. Für neue IAM-Policys sind etwa fünf bis 10 Minuten erforderlich.