Erste Schritte mit Data Integration
Prüfen Sie vor dem Erstellen eines Data Integration-Workspace die Voraussetzungen und die Aufgaben, für die Sie als Kunde verantwortlich sind.
Checkliste für Kundenaufgaben
Sie benötigen die folgenden Ressourcen und Mindest-Policys im Mandanten. Wenn Sie nicht über die erforderlichen Rechte verfügen, lassen Sie diese vom Administrator erstellen.
Bevor Sie beginnen
Vor dem Einrichten des Data Integration-Service zur Verwendung benötigen Sie Folgendes:
- Oracle Cloud Infrastructure-Account mit Administratorberechtigungen
- Zugriff auf den Data Integration Service
Liste der Kundenaufgaben
In diesem Abschnitt werden die Zuständigkeiten von Data Integration-Kunden zusammengefasst, bevor Data Integration zum ersten Mal eingerichtet und verwendet wird.
Aufgabe | Beschreibung |
---|---|
Oracle Cloud Infrastructure-Ressourcen für Ihre Data Integration-Aktivitäten erstellen | Erstellen Sie im Service Oracle Cloud Infrastructure Identity and Access Management (IAM) mit Identitätsdomains die Compartments, Benutzer und Benutzergruppen. |
Sie können virtuelle Cloud-Netzwerke (VCNs) und Subnetze in Oracle Cloud Infrastructure Networking for Data Integration einrichten. Nur regionale Subnetze werden unterstützt, und DNS-Hostnamen müssen in den Subnetzen verwendet werden. Abhängig vom Speicherort der verwendeten Datenquellen müssen Sie möglicherweise andere Netzwerkobjekte wie Servicegateways, Netzwerksicherheitsgruppen und Network Address Translation-(NAT-)Gateways erstellen. Erstellen Sie für Datenquellen in einem privaten Netzwerk ein VCN mit mindestens einem regionalen Subnetz. | |
Policys für den Zugriff auf und die Verwendung von Data Integration erstellen | Erstellen Sie im Service Oracle Cloud Infrastructure Identity and Access Management (IAM) mit Identitätsdomains die erforderlichen Policys, die Gruppen von Benutzern den richtigen Zugriff auf Data Integration-Ressourcen erteilen. Data Integration muss außerdem über die Berechtigung zum Verwalten der virtuellen Netzwerke und Subnetze verfügen, die Sie für die Integration eingerichtet haben. Referenz und Beispiele finden Sie unter Datenintegrations-Policys. Stellen Sie außerdem sicher, dass Sie die Beziehung zwischen Berechtigungen und Verben verstehen. |
Wenn Sie einen Workspace in Data Integration erstellen, können Sie das von Ihnen erstellte private Netzwerk aktivieren. Nach dem Erstellen eines Workspace finden Sie eine Anleitung unter Typische Benutzeraktivitäten für Data Integration. |
Siehe auch Datensicherheit.
Checkliste für gemeinsame Zuständigkeiten
Erfahren Sie, wie Verwaltungsaufgaben für Control Plane und Data Plane für Data Integration von Oracle und Ihnen als Kunde gemeinsam genutzt werden.
Im Allgemeinen ist die Control Plane für das Provisioning von OCI-Ressourcen und das Verwalten von Metadatenvorgängen zum Abrufen, Erstellen, Aktualisieren und Löschen von Data Integration-Workspaces verantwortlich. Die Data Plane ist für Entwurfszeit- und Laufzeitvorgänge im Zusammenhang mit Datenassets, Datenflüssen, Pipelines, Aufgaben und Anwendungen in Data Integration verantwortlich.
Aufgabe | Wer | Beschreibung |
---|---|---|
Provisioning von Workspace-Ressourcen | Oracle und Kunde |
Oracle ist für das Provisioning von Oracle Cloud Infrastructure-Ressourcen für Data Integration-Workspaces verantwortlich, einschließlich Compute-Instanzen und deren Konnektivität zu einem Subnetz (sofern angegeben) über eine sekundäre VNIC. Sie als Kunde sind verantwortlich für:
Eine Liste der Kundenzuständigkeiten zum Einrichten des Data Integration-Service vor der ersten Verwendung finden Sie unter Checkliste für Kundenzuständigkeiten. |
Backup und Recovery von Workspaces und Anwendungen | Oracle und Kunde |
Oracle sichert Inhalte kontinuierlich, um das Disaster Recovery der Metadaten von Data Integration-Serviceressourcen und den Betrieb des Service auszuführen. Solche Backups umfassen Backups von Kunden-Workspaces, die Backups werden jedoch nicht für Kunden verfügbar gemacht. Sie als Kunde sind dafür verantwortlich, Backups der Anwendungsdaten zu erstellen, indem Sie die Anwendungen in denselben Workspace, einen anderen Workspace oder ein anderes Compartment kopieren. Dies ist besonders wichtig für die regionsübergreifende Disaster Recovery. |
Service-Patching und -Upgrades ausführen | Oracle | Oracle ist für das Patching und Upgrade des Data Integration-Service und seiner Agent-Komponenten verantwortlich. |
Skalieren | Oracle |
Oracle ist für die Skalierung der Kontroll- und Data Planes verantwortlich. Sie als Kunde können die Skalierung der OCI-Ressourcen in der Data Plane zur Agent-Berechnung anfordern. |
Health Monitoring | Oracle und Kunde |
Oracle ist dafür verantwortlich, den Zustand von Workspace-Ressourcen zu überwachen und deren Verfügbarkeit sicherzustellen. Sie als Kunde sind für die Überwachung des Zustands und der Performance von Aufgaben und Anwendungen auf allen Ebenen verantwortlich, einschließlich der Verfügbarkeit von abhängigen Ressourcen, die bei Aufgabenausführungen in der Data Plane referenziert werden. |
Anwendungssicherheit | Oracle und Kunde |
Oracle stellt sicher, dass in OCI gespeicherte Daten verschlüsselt sind und dass Verbindungen zu Data Integration eine SSL-Verschlüsselung erfordern. Sie als Kunde sind für die Sicherheit von Anwendungen auf allen Ebenen verantwortlich. Diese Zuständigkeit umfasst den Zugriff auf Workspace-Ressourcen, den Netzwerkzugriff auf diese Ressourcen und den Zugriff auf abhängige Daten. |
Prüfen | Oracle und Kunde |
Oracle ist dafür verantwortlich, REST-API-Aufrufe zu protokollieren, die an Workspace-Ressourcen vorgenommen werden, und diese Logs für Auditingzwecke verfügbar zu machen. Sie als Kunde sind dafür verantwortlich, den Zugriff auf Auditlogs im Auditlogservice zu konfigurieren und die Nutzung mit den Logs zu prüfen und die Aktivität innerhalb des Mandanten zu überwachen. |
Alerts und Benachrichtigungen | Oracle und Kunde |
Oracle stellt Serviceereignisse und Benachrichtigungen bereit. Sie als Kunde sind dafür verantwortlich, Alerts und Benachrichtigungen für Serviceereignisse und für die Überwachung von Alerts zu konfigurieren, die von Interesse sein könnten. |
Ressourcen erstellen
So erstellen Sie Ressourcen für Data Integration-Aktivitäten:
Policys erstellen
Um den Zugriff anderer Benutzer auf Data Integration-Ressourcen und -Funktionen zu kontrollieren, erstellen Sie Gruppen in Oracle Cloud Infrastructure Identity and Access Management (IAM) mit Identitätsdomains. Dann schreiben Sie IAM-Policys, die den Gruppen den richtigen Zugriff erteilen.
Sie können Data Integration-Policy-Vorlagen im IAM-Policy Builder verwenden, um eine Policy zu erstellen, oder die Policy-Anweisungen manuell im manuellen Editor eingeben. Informationen zur Verwendung von Policy Builder und Policy-Vorlagen finden Sie unter Policy-Anweisungen mit Policy Builder erstellen.
Informationen zur Syntax beim Schreiben einer Policy-Anweisung finden Sie unter Policy-Syntax. Stellen Sie sicher, dass Sie die Beziehung zwischen Berechtigungen und Verbs verstehen.
Sie können die meisten Data Integration-Policys auf Mandantenebene oder auf Compartment-Ebene erstellen. Die hier aufgeführten Policys sind Beispiele, die Sie an die Zugriffsanforderungen ändern können.
Weitere Beispiele und Referenzen finden Sie unter Data Integration-Policys.
Nachdem Sie IAM-Komponenten hinzugefügt haben (z.B. dynamische Gruppen und Policy-Anweisungen), versuchen Sie nicht, die zugehörigen Aufgaben sofort auszuführen. Für neue IAM-Policys sind etwa fünf bis 10 Minuten erforderlich.
Für Workspaces
Diese Policy erteilt einer Gruppe die Berechtigung zum Erstellen von Data Integration-Workspaces.
allow group <group-name> to manage dis-workspaces in compartment <compartment-name>
Benutzer mit der Berechtigung inspect
können dis-workspaces
nur auflisten. Benutzer mit der Berechtigung manage
für dis-workspaces
können Workspaces erstellen und löschen. Benutzer mit der Berechtigung use
können nur Integrationsaktivitäten innerhalb von Workspaces ausführen. Zeigen Sie weitere Beispiele an, um eine Policy für bestimmte Anforderungen zu erstellen.
Diese Policy erteilt einer Gruppe die Berechtigung zum Prüfen des Status beim Erstellen eines Workspace.
allow group <group-name> to manage dis-work-requests in compartment <compartment-name>
Diese Policy erteilt Data Integration die Berechtigung, die Namen von Benutzern im Feld Erstellt von aufzulisten, wenn sie Projekte, Datenobjekte und Anwendungen im Workspace erstellen.
allow service dataintegration to inspect users in tenancy
Nach dem Erstellen von Workspaces können Sie einer bestimmten Gruppe die Verwaltung eines bestimmten Workspace, aber keiner anderen Workspaces gestatten:
allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'
Mit dieser Policy kann Data Integration einen Workspace von einem Compartment in ein anderes verschieben.
allow service dataintegration to inspect compartments in compartment <target-compartment-name>
Diese Policy erteilt einer Gruppe die Berechtigung zum Verschieben von Data Integration-Workspaces.
allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>
allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>
Diese Policy erteilt einer Gruppe die Berechtigung zum Verwalten von Tag-Namespaces und Tags in Data Integration-Workspaces.
allow group <group-name> to manage tag-namespaces in compartment <compartment-name>
Um ein definiertes Tag hinzuzufügen, benötigen Sie die Berechtigung zum Verwenden des Tag-Namespace. Weitere Informationen zum Tagging finden Sie unter Ressourcentags.
Diese Policys erteilen Data Integration den Zugriff auf die Suche in Workspaces im Mandanten.
allow service dataintegration to {TENANCY_INSPECT} in tenancy
allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy
Fügen Sie beim Erstellen eines Workspace, für den ein privates Netzwerk aktiviert ist, die folgende Policy hinzu, um zu prüfen, ob das Subnetz ausreichend IP-Adressen zur Zuweisung aufweist:
allow group <group_name> to inspect instance-family in compartment <compartment_name>
Um die Berechtigung auf einen bestimmten API-Aufruf einzuschränken, fügen Sie die folgende Policy hinzu:
allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}
allow service dataintegration to use virtual-network-family in compartment <compartment-name>
Die folgende Policy erteilt einer Gruppe die Berechtigung zum Verwalten von Netzwerkressourcen im Compartment.
allow group <group-name> to manage virtual-network-family in compartment <compartment-name>
Oder für Nicht-Admin-Benutzer:
allow group <group-name> to use virtual-network-family in compartment <compartment-name>
allow group <group-name> to inspect instance-family in compartment <compartment-name>
Sie können Benutzeraktivitäten im Netzwerk einschränken, wenn Sie die Berechtigung inspect
anstelle von manage
für VCNs und Subnetze im Compartment zuweisen. Benutzer können dann vorhandene VCNs und Subnetze anzeigen und beim Erstellen eines Workspace auswählen. Zeigen Sie weitere Beispiele an, um eine Policy für bestimmte Anforderungen zu erstellen.
Für Datenassets
Erstellen Sie diese Policys, um Data Integration den Zugriff auf Object Storage-Ressourcen wie Objekte und Buckets zu ermöglichen.
allow group <group-name> to use object-family in compartment <compartment-name>
allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
Wenn sich der Data Integration-Workspace und die Object Storage-Datenquelle in verschiedenen Mandanten befinden, müssen Sie auch die folgenden Policys für Compartments erstellen:
Im Workspace-Mandanten:
Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}
Im Object Storage-Client:
Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy
Für die Verwendung von Object Storage sind verschiedene Policy-Typen erforderlich (Resource Principal und im Namen von). Die erforderlichen Policys hängen auch davon ab, ob sich die Object Storage-Instanz und die Data Integration-Instanz in demselben Mandanten oder in verschiedenen Mandanten befinden und ob Sie die Policys auf Compartment- oder Mandantenebene erstellen. Weitere Beispiele und Policys in Oracle Cloud Infrastructure (OCI) Data Integration im Blog finden Sie die erforderlichen Policys.
Erstellen Sie diese Policys, um Data Integration den Zugriff auf Buckets und Objekte in Oracle Cloud Infrastructure Object Storage zu ermöglichen. Die Policys sind für das Staging der extrahierten Daten erforderlich, wobei für das Durchführen der Vorgänge eine vorherige Authentifizierung erforderlich ist.
allow group <group-name> to use object-family in compartment <compartment-name>
allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
Für die Verwendung von Object Storage sind verschiedene Policy-Typen erforderlich (Resource Principal und im Namen von). Die erforderlichen Policys hängen auch davon ab, ob sich die Object Storage-Instanz und die Data Integration-Instanz in demselben Mandanten oder in verschiedenen Mandanten befinden und ob Sie die Policys auf Compartment- oder Mandantenebene erstellen. Weitere Beispiele und Policys in Oracle Cloud Infrastructure (OCI) Data Integration im Blog finden Sie die erforderlichen Policys.
Erstellen Sie diese Policy, um Secrets in OCI Vault für sensible Informationen zu verwenden.
allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
Mit der folgenden Policy kann eine Gruppe von Benutzern, die keine Administratoren sind, Geheimnisse mit Oracle Autonomous Data Warehouse und Oracle Autonomous Transaction Processing verwenden:
allow group <group-name> to read secret-bundles in compartment <compartment-name>
Erstellen Sie diese Policy, wenn Sie eine autonome Datenbank als Ziel verwenden. Autonome Datenbanken verwenden Object Storage für das Staging von Daten und benötigen zum Durchführen von Vorgängen eine vorherige Authentifizierung.
allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
Erstellen Sie diese Policy, wenn Sie die Zugangsdaten der autonomen Datenbank beim Erstellen eines Datenassets für die autonome Datenbank automatisch abrufen möchten.
allow group <group-name> to read autonomous-database-family in compartment <compartment-name>
Für Veröffentlichungen
Erstellen Sie diese Policys, um Data Integration-Aufgaben aus Data Integration im OCI Data Flow-Service zu veröffentlichen.
allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow group <group-name> to read dataflow-application in compartment <compartment-name>
allow group <group-name> to manage dataflow-run in compartment <compartment-name>
Damit Nicht-Administratorbenutzer mit einem privaten Endpunkt in OCI Data Flow veröffentlichen können, muss diese Policy private Endpunkte anzeigen:
allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>
Workspace erstellen
Bevor Sie die ersten Schritte mit Data Integration ausführen können, müssen Sie oder der Administrator zuerst einen Workspace für die Datenintegrationsprojekte erstellen.
Erstellen Sie einen Workspace, nachdem die Konnektivitätsanforderungen für Data Integration erfüllt wurden. Siehe Ressourcen erstellen.
Weitere Informationen zum Networking finden Sie in den folgenden Themen:
- Netzwerkkomponenten für Datenassets konfigurieren
- Blog: VCN-Konfiguration für Data Integration verstehen
- Blog: Verwenden von Network Path Analyzer (Fehlerbehebung, Verifizierung und Validierung)
Stellen Sie sicher, dass Sie auch über die erforderlichen Policys zum Erstellen von Workspaces verfügen, wie unter Policys erstellen beschrieben. Beispiel: Wenn Sie einen Workspace erstellen, der virtuelle Cloud-Netzwerkressourcen (VCN) verwendet, müssen Sie Policys erstellen, um Data Integration-Zugriff auf das VCN im Compartment zu ermöglichen.
Mit dem Workspace können Sie Entwurfszeitartefakte wie Datenassets, Datenflüsse und Aufgaben in einem oder mehreren Projekten oder Ordnern erstellen. Informationen zur Verwendung von Projekten in einem Workspace finden Sie unter Projekte und Ordner verwenden.
Verwenden Sie den Befehl oci data-integration workspace create und die erforderlichen Parameter, um einen Workspace zu erstellen:
oci data-integration workspace create [OPTIONS]
Eine vollständige Liste der Kennzeichen und Variablenoptionen für CLI-Befehle finden Sie in der Befehlszeilenreferenz.
Führen Sie den Vorgang CreateWorkspace aus, um einen Workspace zu erstellen.
Komponenten in einem Design
Nachdem Sie Datenassets für das Quell- und das Zieldatensystem erstellt haben, erstellen Sie die Datenintegrationsprozesse zum Extrahieren, Laden und Transformieren von Daten.
In Data Integration erstellen Sie zum Aufnehmen und Transformieren von Daten Data Loader-Aufgaben, Datenflüsse, Integrationsaufgaben und andere Aufgaben. Um eine Gruppe von Aufgaben nacheinander oder parallel zu orchestrieren, erstellen Sie Pipelines und Pipelineaufgaben. Sie können die folgenden Aufgaben als Richtlinie verwenden.
Aufgabe | Beschreibung |
---|---|
Data-Loader-Aufgabe erstellen | Erstellen Sie eine Data-Loader-Aufgabe im Abschnitt "Aufgaben" der Detailseite eines Projekts oder Ordners. Eine Data-Loader-Aufgabe transformiert Daten aus einer Quelle und lädt die Daten dann in ein Ziel. |
Datenfluss erstellen | Erstellen Sie einen Datenfluss im Abschnitt "Datenflüsse" der Detailseite eines Projekts oder Ordners. |
Operatoren hinzufügen | Erstellen Sie im Datenflussdesigner den logischen Fluss der Daten von Quelldatenassets zu Zieldatenassets. Fügen Sie Datenoperatoren hinzu, um die Quell- und die Zieldatenquelle anzugeben. Fügen Sie Modellierungsoperatoren wie Filter und Joins hinzu, um Daten zu bereinigen, zu transformieren und anzureichern. |
Benutzerdefinierte Funktionen hinzufügen | Erstellen und verwenden Sie benutzerdefinierte Funktionen. |
Transformationen anwenden | Wenden Sie auf der Registerkarte "Daten" eines Operators im Datenflussdesigner Transformationen an, um Daten zu aggregieren, zu bereinigen und zu modellieren. |
Parameter zuweisen | Weisen Sie auf der Registerkarte "Details" eines Operators im Datenflussdesigner Parameter zu, um Werte zu externalisieren und zu überschreiben. Mit Parametern können verschiedene Quell-, Ziel- und Transformationskonfigurationen zur Entwurfs- und Laufzeit wieder verwendet werden. |
Integrationsaufgabe erstellen | Nachdem Sie ein Datenflussdesign abgeschlossen haben, erstellen Sie auf der Detailseite eines Projekts oder Ordners im Abschnitt "Aufgaben" eine Integrationsaufgabe, die den Datenfluss verwendet. Durch das Löschen des Datenflusses in einer Integrationsaufgabe können Sie den Datenfluss ausführen und die Parameterwerte auswählen, die Sie zur Laufzeit verwenden möchten. |
Weitere Aufgaben erstellen | Bei Bedarf können Sie auf der Detailseite eines Projekts oder Ordners im Abschnitt "Aufgaben" andere Aufgabentypen erstellen. |
Pipeline erstellen | Erstellen Sie auf der Detailseite eines Projekts oder Ordners eine Pipeline im Abschnitt "Pipelines". Verwenden Sie im Pipelinedesigner Operatoren, um die Aufgaben und Aktivitäten hinzuzufügen, die Sie als Set von Prozessen nacheinander oder parallel orchestrieren möchten. Sie können auch Parameter verwenden, um Werte zur Entwurfszeit und zur Laufzeit zu überschreiben. |
Pipelineaufgabe erstellen | Nachdem Sie ein Pipelinedesign abgeschlossen haben, erstellen Sie auf der Detailseite eines Projekts oder Ordners im Abschnitt "Aufgaben" eine Pipelineaufgabe, die diese Pipeline verwendet. Durch das Wrapping der Pipeline in einer Pipelineaufgabe können Sie die Pipeline ausführen und die Parameterwerte auswählen, die Sie zur Laufzeit verwenden möchten. |