Datenpipelines auf einer autonomen KI-Datenbank

Datenpipelines der autonomen KI-Datenbank sind entweder Ladepipelines oder Exportpipelines.

Load-Pipelines bieten kontinuierliches inkrementelles Laden von Daten aus externen Quellen (wenn Daten im Objektspeicher eintreffen, werden sie in eine Datenbanktabelle geladen). Exportpipelines bieten kontinuierlichen inkrementellen Datenexport in den Objektspeicher (wenn neue Daten in einer Datenbanktabelle angezeigt werden, werden sie in den Objektspeicher exportiert). Pipelines verwenden den Datenbank-Scheduler, um inkrementelle Daten kontinuierlich zu laden oder zu exportieren.

Die Datenpipelines der autonomen KI-Datenbank bieten Folgendes:

Datenpipelinelebenszyklus

Das DBMS_CLOUD_PIPELINE-Package enthält Prozeduren zum Erstellen, Konfigurieren, Testen und Starten einer Pipeline. Der Pipelinelebenszyklus und die Pipelineprozeduren sind für Lade- und Exportpipelines identisch.

Beschreibung der Abbildung Pipeline_lifecycle.png

Führen Sie für einen der beiden Pipelinetypen die folgenden Schritte aus, um eine Pipeline zu erstellen und zu verwenden:

  1. Erstellen und Konfigurieren der Pipeline. Weitere Informationen finden Sie unter Pipelines erstellen und konfigurieren.

  2. Neue Pipeline testen Weitere Informationen finden Sie unter Pipelines testen.

  3. Pipeline starten. Weitere Informationen finden Sie unter Pipeline starten.

Darüber hinaus können Sie Pipelines überwachen, stoppen oder löschen:

Pipelines laden

Verwenden Sie eine Ladepipeline zum kontinuierlichen inkrementellen Laden von Daten aus externen Dateien im Objektspeicher in eine Datenbanktabelle. Eine Lade-Pipeline identifiziert regelmäßig neue Dateien im Objektspeicher und lädt die neuen Daten in die Datenbanktabelle.

Eine Ladepipeline wird wie folgt ausgeführt (einige dieser Features können mit Pipelineattributen konfiguriert werden):

Beschreibung des Bildes folgt

Beschreibung der Abbildung load-pipeline.svg

Die Migration von Nicht-Oracle-Datenbanken ist ein möglicher Anwendungsfall für eine Load Pipeline. Wenn Sie Ihre Daten aus einer Nicht-Oracle-Datenbank in Oracle Autonomous AI Database on Dedicated Exadata Infrastructure migrieren müssen, können Sie die Daten extrahieren und in eine autonome KI-Datenbank laden (das Oracle Data Pump-Format kann nicht für Migrationen aus Nicht-Oracle-Datenbanken verwendet werden). Wenn Sie ein generisches Dateiformat wie CSV verwenden, um Daten aus einer Nicht-Oracle-Datenbank zu exportieren, können Sie Ihre Daten in Dateien speichern und die Dateien in den Objektspeicher hochladen. Erstellen Sie als Nächstes eine Pipeline zum Laden der Daten in die autonome KI-Datenbank. Die Verwendung einer Ladepipeline zum Laden einer großen Gruppe von CSV-Dateien bietet wichtige Vorteile wie Fehlertoleranz sowie Wiederaufnahme- und Wiederholungsvorgänge. Bei einer Migration mit einem großen Dataset können Sie mehrere Pipelines erstellen, eine pro Tabelle für die Nicht-Oracle-Datenbankdateien, um Daten in die autonome KI-Datenbank zu laden.

Pipelines exportieren

Verwenden Sie eine Exportpipeline für den kontinuierlichen inkrementellen Export von Daten aus der Datenbank in den Objektspeicher. Eine Exportpipeline identifiziert regelmäßig Kandidatendaten und lädt die Daten in den Objektspeicher hoch.

Es gibt drei Exportpipelineoptionen (die Exportoptionen können mit Pipelineattributen konfiguriert werden):

Exportpipelines verfügen über die folgenden Features (einige davon können mit Pipelineattributen konfiguriert werden):

Von Oracle verwaltete Pipelines

Autonomous AI Database on Dedicated Exadata Infrastructure stellt integrierte Pipelines bereit, um bestimmte Logs in einen Objektspeicher im JSON-Format zu exportieren. Diese Pipelines sind vorkonfiguriert und gehören dem ADMIN-Benutzer.

Die von Oracle verwalteten Pipelines sind:

So konfigurieren und starten Sie eine von Oracle verwaltete Pipeline:

  1. Bestimmen Sie die Oracle Managed Pipeline, die Sie verwenden möchten: ORA$AUDIT_EXPORT oder ORA$APEX_ACTIVITY_EXPORT.

  2. Legen Sie die Attribute credential_name und location fest.

    Hinweis: credential_name ist ein obligatorischer Wert in der autonomen KI-Datenbank auf einer dedizierten Exadata-Infrastruktur.

    Beispiel:

     BEGIN
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'credential_name',
     attribute_value => 'DEF_CRED_OBJ_STORE'
   );
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'location',
     attribute_value => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/'
   );
 END;
 /

    Die Logdaten aus der Datenbank werden in den angegebenen Objektspeicherort exportiert.

    Weitere Informationen finden Sie unter SET_ATTRIBUTE.

  3. Legen Sie optional die Attribute interval, format oder priority fest.

    Weitere Informationen finden Sie unter SET_ATTRIBUTE.

  4. Starten Sie die Pipeline.

    Weitere Informationen finden Sie unter START_PIPELINE.

Verwandte Inhalte

DBMS_CLOUD_PIPELINE-Package