Oracle Cloud Infrastructure-Dokumentation

Erforderliches Setup und Policys für die Ausführung von Aufgaben durch OCI Data Flow Service

Nur Integrationsaufgaben, die Sie in Data Integration erstellen und veröffentlichen, können für die Ausführung im OCI Data Flow-Service konfiguriert werden.

Um die Aufgaben im OCI Data Flow-Service auszuführen, stellen Sie sicher, dass Sie die folgenden Ressourcen und Policys eingerichtet haben.

In den Aufgaben verwendete Datenassets

  • Sie müssen für die Verwendung von OCI Vault-Secrets konfiguriert sein, damit die Kennwörter eine Verbindung zu den Datenquellen herstellen. Dies ist erforderlich, damit die Zugangsdaten sicher innerhalb der OCI-Services übergeben werden können. Siehe OCI Vault-Secrets und Oracle-Wallets.

  • Sie müssen mit dem vollqualifizierten Domainnamen (FQDN) für die Datenbankhosts angeben. Der OCI Data Flow-Service lässt keine Verbindungen über direkte IP-Adressen zu.

OCI Object Storage

  • Object Storage-Buckets sind erforderlich für:
    • Der OCI Data Flow-Service zum Hochladen von Ausführungslogs der Data Flow-Anwendung.
    • Der Data Integration-Service zum Hochladen der Artefakte für Ausführungsjobs, wie JAR- und ZIP-Dateien.

    Bei der ersten Bearbeitung der Konfiguration eines OCI Data Flow-Service einer Aufgabe wählt der Data Integration-Service automatisch den Bucket dis-df-system-bucket aus, falls er bereits vorhanden ist. Andernfalls müssen Sie ein Log und einen Artefakt-Bucket auswählen, wenn Sie die Konfiguration der Aufgabenausführung aktualisieren, um den Data Flow-Service zu verwenden.

  • Die relevanten Berechtigungen und IAM-Policys für den Zugriff auf Object Storage, wie unter Policy-Beispiele zum Aktivieren des Zugriffs auf OCI Object Storage beschrieben.

Hinweis

Für die Verwendung von Object Storage sind verschiedene Policy-Typen erforderlich (Resource Principal und im Namen von). Die erforderlichen Policys hängen auch davon ab, ob sich die Object Storage-Instanz und der Data Integration-Workspace in demselben Mandanten oder in verschiedenen Mandanten befinden und ob Sie die Policys auf Compartment- oder Mandantenebene erstellen. Weitere Beispiele finden Sie im Blog Policys in Oracle Cloud Infrastructure (OCI) Data Integration, mit denen Sie die Policys für bestimmte Anforderungen identifizieren können.

OCI Data Flow-Service

  • Ein Pool. Siehe Pool erstellen in der OCI Data Flow-Dokumentation.

    Für die Ausführung von Data Integration-Serviceaufgaben im OCI Data Flow-Service muss der erforderliche Pool eine einzelne Konfiguration mit mindestens zwei Compute-Ausprägungen aufweisen.

  • Ein privater Endpunkt. Siehe Privaten Endpunkt erstellen in der OCI Data Flow-Dokumentation.

    Wenn die Aufgaben des Data Integration-Service auf Datenquellen zugreifen, die nur mit privaten IPs verfügbar sind, ist ein privater Endpunkt erforderlich, um OCI Data Flow Zugriff auf ein privates Netzwerk im Mandanten für die Arbeit mit diesen Datenquellen zu erteilen.

  • Relevante Policys, die im Data Integration-Service die Aufgaben veröffentlichen, für die der Data Flow-Service die Ausführungskonfiguration aktiviert hat, und die Aufgaben im Data Flow-Service ausführen (mit oder ohne private Endpunkte).

    Damit Data Integration Aufgaben im Data Flow-Service ausführen kann:

    allow any-user to manage dataflow-family in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Benutzer können direkt auf den Data Flow-Service zugreifen:

    allow group <group-name> to read dataflow-application in compartment <compartment-name>
    allow group <group-name> to manage dataflow-run in compartment <compartment-name>

    Damit Benutzer private Data Flow-Endpunkte und Secret Bundles verwalten können:

    allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
    allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Damit der Data Flow-Service die Anwendungsausführungslogs aus dem Object Storage-Bucket liest, der in der Ausführungskonfiguration der Data Integration-Aufgabe für Data Flow angegeben ist:

    ALLOW SERVICE dataflow TO READ objects IN tenancy WHERE target.bucket.name = '<log-bucket-name>'

    Für Benutzer ohne Administratorrechte sind diese Richtlinien erforderlich:

    allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>
    allow group <group-name> to read secret-bundles in compartment <compartment-name>

Nachdem Sie die erforderlichen Ressourcen- und Policy-Anforderungen erfüllt haben, bearbeiten Sie die Ausführungskonfiguration der Aufgabe, die Sie im OCI Data Flow-Service ausführen möchten. Siehe Konfiguration der Aufgabenausführung für OCI Data Flow Service aktualisieren.

Hinweis

Nachdem Sie IAM-Komponenten hinzugefügt haben (z.B. dynamische Gruppen und Policy-Anweisungen), versuchen Sie nicht, die zugehörigen Aufgaben sofort auszuführen. Für neue IAM-Policys sind etwa fünf bis 10 Minuten erforderlich.