DBMS_CLOUD_PIPELINE-Package

Mit dem Package DBMS_CLOUD_PIPELINE können Sie Datenpipelines zum Laden und Exportieren von Daten in der Cloud erstellen. Dieses Package unterstützt das kontinuierliche inkrementelle Laden von Dateien im Objektspeicher in die Datenbank. DBMS_CLOUD_PIPELINE unterstützt auch den kontinuierlichen inkrementellen Export von Tabellendaten oder Abfrageergebnissen aus der Datenbank in den Objektspeicher basierend auf einer Zeitstempelspalte.

Zusammenfassung der DBMS_CLOUD_PIPELINE-Unterprogramme

In dieser Tabelle werden die im Package DBMS_CLOUD_PIPELINE enthaltenen Unterprogramme zusammengefasst.

Unterprogramm Beschreibung

Prozedur CREATE_PIPELINE

Erstellt eine neue Datenpipeline.

Prozedur DROP_PIPELINE

Löscht eine vorhandene Datenpipeline.

Prozedur RESET_PIPELINE

Setzt den Verfolgungsstatus einer Datenpipeline zurück. Mit "Pipeline zurücksetzen" können Sie die Pipeline aus dem anfänglichen Status des Dataloads oder Exports neu starten. Optional kann die Pipeline Daten in der Datenbank oder im Objektspeicher löschen, je nach Typ der Pipeline.

Prozedur RUN_PIPELINE_ONCE

Führt eine bedarfsgesteuerte Ausführung der Pipeline in der aktuellen Vordergrundsession anstelle eines geplanten Jobs aus.

Prozedur SET_ATTRIBUTE

Legt Pipelineattribute fest. Es gibt zwei überladene Prozeduren, eine zum Festlegen eines einzelnen Attributs und eine zum Festlegen mehrerer Attribute mit einem JSON-Dokument mit Attributnamen/Wert-Paaren

Prozedur START_PIPELINE

Startet die Datenpipeline. Wenn eine Pipeline gestartet wird, wird der Pipelinevorgang entsprechend dem in den Pipelineattributen konfigurierten "Intervall" kontinuierlich in einem geplanten Job ausgeführt.

Prozedur STOP_PIPELINE

Stoppt die Datenpipeline. Wenn eine Pipeline gestoppt wird, werden keine zukünftigen Jobs für die Pipeline geplant.

Prozedur CREATE_PIPELINE

Mit der Prozedur wird eine neue Datenpipeline erstellt.

Syntax

DBMS_CLOUD_PIPELINE.CREATE_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      pipeline_type        IN   VARCHAR2,
      attributes           IN   CLOB        DEFAULT NULL,
      description          IN   VARCHAR2    DEFAULT NULL
);

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die Pipeline an. Der Name der Pipeline muss den Benennungsregeln der Oracle SQL-IDs entsprechen. Weitere Informationen finden Sie unter IDs.

Dieser Parameter ist erforderlich.

pipeline_type

Gibt den Pipeline-Typ an.

Gültige Werte: LOAD, EXPORT

Dieser Parameter ist erforderlich.

attributes

Pipelineattribute im JSON-Format.

Standardwert: NULL

Weitere Informationen finden Sie unter DBMS_CLOUD_PIPELINE Attributes.

description

Beschreibung für die Pipeline.

Standardwert: NULL

Prozedur DROP_PIPELINE

Die Prozedur löscht eine vorhandene Datenpipeline. Wenn eine Pipeline gestartet wurde, muss sie gestoppt werden, bevor sie gelöscht werden kann.

Syntax

DBMS_CLOUD_PIPELINE.DROP_PIPELINE(
       pipeline_name        IN   VARCHAR2,
       force                IN   BOOLEAN DEFAULT FALSE
 );

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Pipelinenamen an.

Dieser Parameter ist erforderlich.

force

Löschen einer Pipeline erzwingen, auch wenn sie sich im Status "Gestartet" befindet.

Gültige Werte sind TRUE, FALSE

Standardwert: FALSE

Hinweis zur Verwendung

  • Um eine Pipeline mit dem Status "Gestartet" zu löschen, setzen Sie den Parameter force auf TRUE.

Prozedur RESET_PIPELINE

Setzt den Verfolgungsstatus einer Datenpipeline zurück. Mit "Pipeline zurücksetzen" können Sie die Pipeline aus dem anfänglichen Status des Dataloads oder Exports neu starten. Optional kann die Pipeline Daten in der Datenbank oder im Objektspeicher löschen, je nach Typ der Pipeline. Eine Datenpipeline muss sich im Status "Stoppt" befinden, um sie zurückzusetzen.

Syntax

DBMS_CLOUD_PIPELINE.RESET_PIPELINE(
       pipeline_name        IN   VARCHAR2,
       purge_data           IN   BOOLEAN DEFAULT FALSE
 );

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die Pipeline an.

Dieser Parameter ist erforderlich.

purge_data

Löschdaten gelten für eine Lade-Pipeline oder eine Export-Pipeline:

  • Bei einer Ladepipeline kürzen Sie beim TRUE die Daten in der Datenbanktabelle.

  • Löschen Sie bei einer Exportpipeline beim TRUE die Dateien im Objektspeicherort.

Gültige Werte sind TRUE, FALSE

Standardwert: FALSE

Hinweise zur Verwendung

  • Eine Datenpipeline muss sich im Status "Stoppt" befinden, um sie zurückzusetzen. Weitere Informationen finden Sie unter Prozedur STOP_PIPELINE.

  • Beim Zurücksetzen der Pipeline für eine Ladepipeline wird der Datensatz der Dateien gelöscht, die von der Pipeline geladen werden. Wenn Sie START_PIPELINE oder RUN_PIPELINE_ONCE aufrufen, nachdem Sie eine Ladepipeline zurückgesetzt haben, wiederholt die Pipeline den Dataload und enthält alle Dateien, die im Objektspeicherort vorhanden sind.

    Wenn purge_data auf TRUE gesetzt ist, führt DBMS_CLOUD_PIPELINE.RESET_PIPELINE Folgendes aus:

    • Schneidet die Daten in der Datenbanktabelle der Pipeline ab, die Sie mit dem Attribut table_name angeben.

    • Löscht die Statustabelle der Pipeline sowie die ungültige Dateitabelle und Fehlertabelle der Pipeline (sofern vorhanden).

  • Beim Zurücksetzen der Pipeline für eine Exportpipeline werden die zuletzt verfolgten Daten in der Datenbanktabelle gelöscht. Wenn Sie START_PIPELINE oder RUN_PIPELINE_ONCE nach dem Zurücksetzen einer Exportpipeline aufrufen, wiederholt die Pipeline den Export von Daten aus der Tabelle oder Abfrage.

    Wenn purge_data auf TRUE gesetzt ist, löscht DBMS_CLOUD_PIPELINE.RESET_PIPELINE vorhandene Dateien im Objektspeicherort, der mit dem Attribut location angegeben ist.

Prozedur RUN_PIPELINE_ONCE

Diese Prozedur führt eine On-Demand-Ausführung der Pipeline in der aktuellen Vordergrundsession statt einer Ausführung in einem geplanten Job aus. Verwenden Sie DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE, um eine Pipeline zu testen, bevor Sie die Pipeline als kontinuierlicher Job starten.

Syntax

DBMS_CLOUD_PIPELINE.RUN_PIPELINE_ONCE(
       pipeline_name  IN  VARCHAR2
);

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die auszuführende Pipeline an.

Dieser Parameter ist erforderlich.

Hinweise zur Verwendung

  • Nachdem Sie eine Testausführung einer Pipeline ausgeführt haben, können Sie den Pipelinestatus mit DBMS_CLOUD_PIPELINE.RESET_PIPELINE zurücksetzen. Auf diese Weise können Sie den Pipelinestatus zurücksetzen, bevor Sie die Pipeline in einem geplanten Job starten.

  • Wenn sich eine Pipeline im Status "Gestartet" befindet, kann sie nicht in der Vordergrundsession ausgeführt werden.

Prozedur SET_ATTRIBUTE

Diese Prozedur legt Pipelineattribute fest. Es gibt zwei überladene Prozeduren: eine zum Festlegen eines einzelnen Attributs und eine zum Festlegen mehrerer Attribute mit einem JSON-Dokument mit Attributnamen/Wert-Paaren.

Syntax

PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
      pipeline_name        IN   VARCHAR2,
      attribute_name       IN   VARCHAR2,
      attribute_value      IN   CLOB
);
 
PROCEDURE DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
      pipeline_name        IN   VARCHAR2,
      attributes           IN   CLOB
);

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die Pipeline zum Festlegen von Attributen an.

Dieser Parameter ist erforderlich.

attribute_name

Gibt den Attributnamen für das festzulegende Attribut an.

Weitere Informationen finden Sie unter DBMS_CLOUD_PIPELINE Attributes.

attribute_value

Gibt den Wert für das festzulegende Pipelineattribut an.

Weitere Informationen finden Sie unter DBMS_CLOUD_PIPELINE Attributes.

attributes

Gibt ein JSON-Dokument an, das Attributnamen und -werte enthält.

Weitere Informationen finden Sie unter DBMS_CLOUD_PIPELINE Attributes.

Hinweis zur Verwendung

  • Wenn Sie mit DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE mehrere Attribute mit dem Parameter attributes festlegen, werden alle vorhandenen Attribute gelöscht und mit den angegebenen Attributen aus dem JSON-Dokument überschrieben.

Prozedur START_PIPELINE

Die Prozedur startet die Datenpipeline. Wenn eine Pipeline gestartet wird, wird der Pipelinevorgang kontinuierlich in einem geplanten Job gemäß dem mit den Pipelineattributen konfigurierten interval ausgeführt.

Syntax

DBMS_CLOUD_PIPELINE.START_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      start_date           IN   TIMESTAMP WITH TIME ZONE DEFAULT NULL
);

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die Pipeline an.

Dieser Parameter ist erforderlich.

start_date

Gibt das Startdatum für den Pipelinejob an.

Standardwert: NULL

Hinweise zur Verwendung

  • Standardmäßig beginnt ein Pipelinejob sofort, sobald die Pipeline gestartet wird. Um einen Pipelinejob zu einem späteren Zeitpunkt zu starten, geben Sie mit dem Parameter start_date ein gültiges Datum oder einen gültigen Zeitstempel an.

  • Informationen zur Pipeline interval und anderen Pipelineattributen finden Sie unter DBMS_CLOUD_PIPELINE-Attribute.

Prozedur STOP_PIPELINE

Die Prozedur stoppt die Datenpipeline. Wenn eine Pipeline gestoppt wird, werden keine zukünftigen Jobs für die Pipeline geplant.

Syntax

DBMS_CLOUD_PIPELINE.STOP_PIPELINE(
      pipeline_name        IN   VARCHAR2,
      force                IN   BOOLEAN  DEFAULT  FALSE
);

Parameter

Parameter Beschreibung

pipeline_name

Gibt einen Namen für die Pipeline an.

Dieser Parameter ist erforderlich.

force

Wenn der Force-Parameter als TRUE übergeben wird, werden alle ausgeführten Jobs für die Pipeline beendet.

Gültige Werte sind TRUE, FALSE.

Standardwert: FALSE

DBMS_CLOUD_PIPELINE Attribute

Attribute helfen, das Verhalten einer Datenpipeline zu steuern und zu konfigurieren.

Attribute

Hinweis

Wie in der Spalte Pipelinetyp angegeben, unterstützt eine Pipeline je nach Pipeline-Typ LOAD oder EXPORT ein anderes Set von Attributen.
Attributname Beschreibung Pipeline-Typ Kann nach Pipelinestart geändert werden
credential_name

Der Name der Zugangsdaten für den Zugriff auf den Quell-Cloud-Objektspeicher.

Sie können 'OCI$RESOURCE_PRINCIPAL' als credential_name verwenden, wenn der Ressourcen-Principal aktiviert ist. Mit den folgenden Angaben angegebene Zugangsdaten werden ebenfalls unterstützt: Amazon-Ressourcennamen, Azure-Service-Principal oder Google-Serviceaccount. Weitere Informationen finden Sie unter Policys und Rollen für den Zugriff auf Ressourcen konfigurieren.

Standardwert: NULL.

Wenn Sie keine credential_name angeben, wird credential_name auf NULL festgelegt.

LOAD, EXPORT Ja
field_list

Gibt die Felder in den Quelldateien und deren Datentypen an. Die Syntax dieses Arguments entspricht der field_list-Klausel in regulären externen Oracle-Tabellen. Weitere Informationen zu field_list finden Sie unter Oracle® Database-Utilitys.

Standardwert: NULL

Der Standardwert gibt die Felder an, und ihre Datentypen werden durch die Spalten in der Tabelle bestimmt, die im Attribut table_name angegeben ist.

LOAD Ja
format

Die Optionen, die das Format für den Typ der Pipeline beschreiben.

Data Pump format wird für eine Exportpipeline nicht unterstützt.

Dieses Attribut ist für die Pipelines LOAD und EXPORT obligatorisch.

LOAD, EXPORT Ja
interval

Das Zeitintervall in Minuten zwischen aufeinanderfolgenden Ausführungen des geplanten Pipelinejobs.

Standardwert: 15 Minuten

LOAD, EXPORT Ja
key_column

Ein Zeitstempel oder eine Datumsspalte in der angegebenen table oder query, um neuere Daten kontinuierlich in den Objektspeicher zu exportieren. Der Zeitstempel oder das Datum der letzten Ausführung wird von der Exportpipeline verfolgt und mit dem Wert in der key_column verglichen, um neue Daten für den Export in den Objektspeicher zu identifizieren.

Standardwert: NULL

Wenn key_column nicht für eine Exportpipeline angegeben ist, wird der gesamte Inhalt der Datei table oder query in den Objektspeicher in jeder Pipelinejobausführung hochgeladen.

EXPORT Nein
location

Gibt eine URI an, die auf ein Object Storage-Verzeichnis verweist.

Das Format der URI ist vom Cloud-Object Storage-Service abhängig. Weitere Informationen finden Sie unter DBMS_CLOUD URI-Formate.

Dieses Attribut ist für die Pipelines LOAD und EXPORT obligatorisch.

LOAD, EXPORT Nein
priority

Gibt einen Zeichenfolgenwert an, der die Anzahl der parallelen Vorgänge bestimmt, die für die Pipeline ausgeführt werden.

  • In einer Ladepipeline wird die Anzahl der parallel geladenen Dateien bestimmt.

  • In einer Exportpipeline bestimmt sie den Parallelisierungsgrad für das Abrufen von Daten aus der Datenbank.

Ein Vorgang mit einer höheren Priorität belegt mehr Datenbankressourcen und wird früher abgeschlossen.

Gültige Werte:

  • HIGH: Bestimmt die Anzahl der parallelen Dateien, die mit der ECPU-Anzahl der Datenbank verarbeitet werden (OCPU-Anzahl, wenn die Datenbank OCPUs verwendet).
  • MEDIUM: Bestimmt die Anzahl gleichzeitiger Prozesse mit dem Nebenläufigkeitslimit für den Service "Mittel". Der Standardwert ist 4.
  • LOW: Führen Sie den Pipelinejob in serieller Reihenfolge aus.

Standardwert: MEDIUM

Die maximale Anzahl nebenläufiger Dateivorgänge ist auf 64 begrenzt.

LOAD, EXPORT Ja
query

Gibt eine SELECT-Anweisung an, mit der nur die erforderlichen Daten exportiert werden. Die Abfrage bestimmt den Inhalt der Dateien, die Sie als Textdateien (CSV, JSON, Parquet oder XML) oder Dumpdateien exportieren.

Beispiele:

SELECT warehouse_id, quantity FROM inventories

Standardwert: NULL

Bei einer Exportpipeline ist entweder table_name oder query erforderlich.

EXPORT Nein
table_name

Gibt den Namen der Zieltabelle zum Laden oder Exportieren von Daten an.

Für eine Ladepipeline ist table_name obligatorisch.

Bei einer Exportpipeline ist entweder table_name oder query erforderlich.

LOAD, EXPORT Nein
table_owner

Der Name des Schemas, in dem sich die Zieltabelle zum Laden oder Exportieren von Daten befindet.

Standardwert: NULL

Mit einem NULL-Wert befindet sich die Zieltabelle im selben Schema wie der Benutzer, der die Prozedur ausgeführt hat.

LOAD, EXPORT Nein