Das DBMS_CLOUD_PIPELINE-Package enthält Prozeduren zum Erstellen, Konfigurieren, Testen und Starten einer Pipeline. Der Pipelinelebenszyklus und die Pipelineprozeduren sind für Lade- und Exportpipelines identisch.

Führen Sie für einen der beiden Pipelinetypen die folgenden Schritte aus, um eine Pipeline zu erstellen und zu verwenden:

1. Erstellen und Konfigurieren der Pipeline. Weitere Informationen finden Sie unter Pipelines erstellen und konfigurieren.

2. Neue Pipeline testen Weitere Informationen finden Sie unter Pipelines testen.

3. Pipeline starten. Weitere Informationen finden Sie unter Pipeline starten.

Darüber hinaus können Sie Pipelines überwachen, stoppen oder löschen:

• Während eine Pipeline ausgeführt wird, können Sie die Pipeline entweder während des Tests oder während der regulären Verwendung überwachen, nachdem Sie die Pipeline gestartet haben. Weitere Informationen finden Sie unter Pipelines überwachen und Fehler beheben.

• Sie können eine Pipeline stoppen und später erneut starten oder eine Pipeline löschen, wenn Sie mit der Pipeline fertig sind. Weitere Informationen finden Sie unter Pipeline stoppen und Pipeline löschen.

Eine Ladepipeline wird wie folgt ausgeführt (einige dieser Features können mit Pipelineattributen konfiguriert werden):

• Objektspeicherdateien werden parallel in eine Datenbanktabelle geladen.

  • Eine Lade-Pipeline verwendet den Namen der Objektspeicherdatei, um neuere Dateien eindeutig zu identifizieren und zu laden.
  • Wenn eine Datei im Objektspeicher in die Datenbanktabelle geladen wurde und sich der Dateiinhalt im Objektspeicher ändert, wird sie nicht erneut geladen.
  • Wenn die Objektspeicherdatei gelöscht wird, wirkt sich dies nicht auf die Daten in der Datenbanktabelle aus.

• Wenn Fehler auftreten, wiederholt eine Ladepipeline den Vorgang automatisch. Bei jeder nachfolgenden Ausführung des geplanten Jobs der Pipeline werden Wiederholungen versucht.

• Wenn die Daten in einer Datei nicht mit der Datenbanktabelle übereinstimmen, wird sie als FAILED markiert und kann geprüft werden, um das Problem zu debuggen und zu beheben.

  • Wenn eine Datei nicht geladen werden kann, wird die Pipeline nicht gestoppt, und die anderen Dateien werden weiterhin geladen.

• Ladepipelines unterstützen mehrere Eingabedateiformate, einschließlich: JSON, CSV, XML, Avro, ORC und Parquet.

Die Migration von Nicht-Oracle-Datenbanken ist ein möglicher Anwendungsfall für eine Load Pipeline. Wenn Sie Ihre Daten aus einer Nicht-Oracle-Datenbank in Oracle Autonomous Database migrieren müssen, können Sie die Daten extrahieren und in Autonomous Database laden (das Oracle Data Pump-Format kann nicht für Migrationen aus Nicht-Oracle-Datenbanken verwendet werden). Wenn Sie ein generisches Dateiformat wie CSV verwenden, um Daten aus einer Nicht-Oracle-Datenbank zu exportieren, können Sie Ihre Daten in Dateien speichern und die Dateien in den Objektspeicher hochladen. Erstellen Sie als Nächstes eine Pipeline zum Laden der Daten in Autonomous Database. Die Verwendung einer Ladepipeline zum Laden einer großen Gruppe von CSV-Dateien bietet wichtige Vorteile wie Fehlertoleranz sowie Wiederaufnahme- und Wiederholungsvorgänge. Bei einer Migration mit einem großen Dataset können Sie mehrere Pipelines erstellen, eine pro Tabelle für die Nicht-Oracle-Datenbankdateien, um Daten in Autonomous Database zu laden.

Verwenden Sie eine Exportpipeline für den kontinuierlichen inkrementellen Export von Daten aus der Datenbank in den Objektspeicher. Eine Exportpipeline identifiziert regelmäßig Kandidatendaten und lädt die Daten in den Objektspeicher hoch.

Es gibt drei Exportpipelineoptionen (die Exportoptionen können mit Pipelineattributen konfiguriert werden):

• Exportieren Sie inkrementelle Ergebnisse einer Abfrage in den Objektspeicher, indem Sie eine Datums- oder Zeitstempelspalte als Schlüssel für die Verfolgung neuerer Daten verwenden.

• Exportieren Sie inkrementelle Daten einer Tabelle in den Objektspeicher, indem Sie eine Datums- oder Zeitstempelspalte als Schlüssel für die Verfolgung neuerer Daten verwenden.

• Exportieren Sie Daten einer Tabelle in einen Objektspeicher mit einer Abfrage, um Daten ohne Referenz auf eine Datums- oder Zeitstempelspalte auszuwählen (so dass die Pipeline alle Daten exportiert, die von der Abfrage für jede Scheduler-Ausführung ausgewählt werden).

Exportpipelines verfügen über die folgenden Features (einige davon können mit Pipelineattributen konfiguriert werden):

• Ergebnisse werden parallel zum Objektspeicher exportiert.

• Im Falle eines Fehlers wiederholt ein späterer Pipelinejob den Exportvorgang.

• Exportpipelines unterstützen mehrere Exportdateiformate, einschließlich: CSV, JSON, Parquet oder XML.

Autonomous Database bietet integrierte Pipelines zum Exportieren von Logs in den Objektspeicher. Diese Pipelines sind vorkonfiguriert und können vom ADMIN-Benutzer gestartet werden.

Die von Oracle verwalteten Pipelines sind:

• ORA$AUDIT_EXPORT: Diese Pipeline exportiert die Datenbankauditlogs in den Objektspeicher im JSON-Format und wird alle 15 Minuten nach dem Start der Pipeline ausgeführt (basierend auf dem Attributwert interval).

• ORA$APEX_ACTIVITY_EXPORT: Diese Pipeline exportiert das Aktivitätslog des Oracle APEX-Workspace in den Objektspeicher im JSON-Format. Diese Pipeline ist mit der SQL-Abfrage zum Abrufen von APEX-Aktivitätsdatensätzen vorkonfiguriert und wird alle 15 Minuten nach dem Start der Pipeline ausgeführt (basierend auf dem Attributwert interval).

Die von Oracle verwalteten Pipelines gehören dem ADMIN-Benutzer, und Attribute von von von Oracle verwalteten Pipelines können vom ADMIN-Benutzer geändert werden.

Standardmäßig verwenden die von Oracle verwalteten Pipelines OCI$RESOURCE_PRINCIPAL als credential_name.

Weitere Informationen finden Sie unter Von Oracle verwaltete Pipelines verwenden.