Externe Kataloge

Externe Kataloge sind Kataloge, in denen die Daten von einem Speicherort außerhalb von Oracle AI Data Platform Workbench bezogen werden.

Tutorialsymbol LiveLabs-Sprint

Externe Kataloge stellen eine Verbindung zu Quellen wie Oracle Autonomous AI Lakehouse, Oracle AI Database und Oracle Autonomous AI Transaction Processing her, um Daten in Ihre AI Data Platform Workbench zu extrahieren. Externe Kataloge verwenden die bei der Erstellung des externen Katalogs angegebenen Zugangsdaten für die Abfrage der externen Quelle. Weitere Informationen zu Datenquellen finden Sie unter Interne Quellen.

Beispiel: Wenn Sie einen externen Katalog für eine Autonomous AI Lakehouse-Instanz erstellen, in der die verwendeten Autonomous AI Lakehouse-Benutzerzugangsdaten Zugriff auf schema1, aber nicht auf schema2 haben, wird im externen Katalog nur schema1 angezeigt. Benutzer mit Berechtigungen für den externen Katalog können nur das Schema abfragen, auf das der Autonomous AI Lakehouse-Benutzer Zugriff hat.

Hinweis:

AI Data Platform Workbench unterstützt kein Harvesting von Daten aus Schemas und Tabellen, die in mehreren integrierbaren Datenbanken (PDBs) oder aus von Oracle verwalteten Schemas und Tabellen gemeinsam verwendet werden.

Erforderliche Berechtigungen für Autonomous AI Lakehouse und Autonomous AI Transaction Processing

Wenn Sie einen externen Katalog in AI Data Platform Workbench erstellen, müssen die Benutzerzugangsdaten, die Sie für die Verbindung verwenden, mindestens die folgenden Berechtigungen aufweisen:
  • CREATE SESSION, um eine Verbindung zur Datenbank herzustellen
  • SELECT-Zugriff auf die erforderlichen Objekte (Tabellen/Ansichten/externe Tabellen) über Berechtigungen mit der geringsten Berechtigung oder eine dedizierte Leserolle
  • LESEN, SCHREIBEN AUF DIRECTORY DATA_PUMP_DIR
Wenn Sie Daten einfügen oder eine neue Tabelle im externen Katalog erstellen, stellen Sie sicher, dass der Benutzer Teil der DWROLE ist. Weitere Informationen finden Sie in der Oracle Autonomous AI Transaction Processing-Dokumentation unter Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool.

Einschränkungen

UPDATE-Vorgang wird für externe Kataloge nicht unterstützt. Verwenden Sie externe Katalogtabellen für Discovery- und Abfragezugriff.

DDL wird nicht unterstützt, selbst wenn die zum Erstellen des externen Katalogs verwendeten Zugangsdaten über Berechtigungen zum Ausführen von DDL-Anweisungen verfügen.

Die Groß-/Kleinschreibung von Tabellennamen wirkt sich darauf aus, wie die Tabelle in Oracle Autonomous AI Lakehouse erstellt wird. Beachten Sie das Verhalten beim Erstellen von Tabellen aus AI Data Platform in Autonomous AI Lakehouse
  • Wenn der Tabellenname in Großbuchstaben angegeben wird, wird die Tabelle mit Großbuchstaben erstellt. Dabei wird das Standardverhalten ohne Beachtung der Groß-/Kleinschreibung in Autonomous AI Lakehouse beachtet.
  • Wenn der Tabellenname in Kleinbuchstaben angegeben wird, wird die Tabelle in Autonomous AI Lakehouse unter Berücksichtigung der Groß-/Kleinschreibung erstellt. Spaltennamen für Tabellen, die mit Autonomous AI Lakehouse erstellt wurden, werden immer unter Beachtung der Groß-/Kleinschreibung erstellt.

Externen Katalog erstellen

Sie können einen Katalog von AI Data Platform Workbench mit einer externen Quelle verbinden.

  1. Klicken Sie im linken Navigationsbereich auf Erstellen, und wählen Sie Katalog aus. Sie können auch zum Masterkatalog navigieren und auf Symbol "Katalog erstellen" Katalog im Masterkatalog erstellen klicken.
  2. Geben Sie Werte in die Felder "Name" und "Beschreibung" ein.
  3. Wählen Sie in der Dropdown-Liste Katalogtyp die Option Externer Katalog aus.
  4. Wählen Sie den externen Quelltyp aus.
    • Geben Sie für Oracle Autonomous AI Lakehouse entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Oracle Autonomous AI Transaction Processing entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Oracle AI Database entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Kafka den Bootstrap-Server an. Trennen Sie mehrere Server durch ein Komma. (In Kürze verfügbar)
  5. Geben Sie den Benutzernamen und das Kennwort ein.
  6. SSL ist standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, um SSL zu deaktivieren.
  7. Klicken Sie auf Create.
    Externe Kataloge, die Daten aus einer externen Quelle extrahieren, zeigen ein Kreis-Symbol an.
    Baumansicht des Hauptkatalogs mit dem Symbol "In Bearbeitung" neben dem markierten Katalog

    Sie können den Fortschritt auch unter Jobausführungen überwachen.

Externen Katalog für private Netzwerke erstellen

Sie können einen externen Katalog erstellen, der auf Datenquellen in einem privaten Netzwerk zugreift.

  1. Klicken Sie im linken Navigationsbereich auf Erstellen, und wählen Sie Katalog aus. Sie können auch zum Masterkatalog navigieren und auf Symbol "Katalog erstellen" Katalog im Masterkatalog erstellen klicken.
  2. Geben Sie Werte in die Felder "Name" und "Beschreibung" ein.
  3. Wählen Sie in der Dropdown-Liste Katalogtyp die Option Externer Katalog aus.
  4. Wählen Sie den externen Quelltyp aus:
    • Geben Sie für Oracle Autonomous AI Lakehouse entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Oracle Autonomous AI Transaction Processing entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Oracle AI Database entweder eine Wallet-Datei oder die Instanzkonfiguration an.
    • Geben Sie für Oracle Exadata Database Service Host-, Port- und Servicename (SID) an.
    • Geben Sie für Snowflake den Namen des Snowflake-Accounts, den Datenbanknamen und das Warehouse an. Wählen Sie bei der Authentifizierungsmethode Schlüsselpaar, die Private-Key-Datei und die Private-Key-Passphrase aus.
    • Geben Sie für Azure SQL den Host, den Port, den Benutzernamen und das Kennwort an. Optional können Sie den Datenbanknamen angeben.
    • Geben Sie für MySQL Host, Port, Benutzername und Kennwort an.
    • Geben Sie für Kafka den Bootstrap-Server an. Trennen Sie mehrere Server durch ein Komma. (In Kürze verfügbar)
  5. Geben Sie den Benutzernamen und das Kennwort ein.
  6. SSL ist standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, um SSL zu deaktivieren.
  7. Wählen Sie Privates Netzwerk aktivieren aus.
  8. Wählen Sie den Workspace mit der gewünschten privaten Netzwerkkonfiguration aus.
    Informationen zum Einrichten eines Workspace, der für private Netzwerke konfiguriert ist, finden Sie unter Workspace mit aktiviertem privaten Netzwerkzugriff erstellen.
  9. Klicken Sie auf Create.
    Externe Kataloge, die Daten aus einer externen Quelle extrahieren, zeigen ein Kreis-Symbol an.
    Baumansicht des Hauptkatalogs mit dem Symbol "In Bearbeitung" neben dem markierten Katalog

    Sie können den Fortschritt auch unter Jobausführungen überwachen.

Externe Datenkataloge aktualisieren

Sie können eine Aktualisierung aller externen Kataloge auslösen, um deren Inhalt aus der Quelle zu aktualisieren.

  1. Klicken Sie auf der Homepage auf Masterkatalog.
  2. Wählen Sie den externen Katalog aus, den Sie aktualisieren möchten.
  3. Klicken Sie auf Symbol "Aktualisieren" Aktualisieren.
    Wenn Sie auf "Aktualisieren" klicken, werden Workflows im Hintergrund gestartet, um Metadaten aus externen Katalogen zu extrahieren und zu aktualisieren. Kataloge, die Daten aus einer externen Quelle extrahieren, zeigen ein Kreis-Symbol an.
    Baumansicht des Hauptkatalogs mit dem Symbol "In Bearbeitung" neben dem markierten Katalog

    Sie können den Fortschritt auch unter Jobausführungen überwachen.

Externe Kataloge mit SQL aktualisieren

Mit der SQL-Grammatik können Sie Metadaten für externe Kataloge, Schemas und Tabellen aktualisieren.

Um einen externen Katalog zu aktualisieren, verwenden Sie:

REFRESH EXTERNAL CATALOG <<catalog_name>>

Um ein Schema in einem externen Katalog zu aktualisieren, verwenden Sie:

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

Um eine Tabelle in einem Schema in einem externen Katalog zu aktualisieren, verwenden Sie:

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

Weitere Informationen finden Sie unter SQL-Grammatik.

Externe Katalogbeschreibung bearbeiten

Sie können die Beschreibung für externe Kataloge nach der Erstellung bearbeiten, wenn deren Inhalt oder Zweck geändert wurde.

  1. Klicken Sie auf der Homepage auf Hauptkatalog.
  2. Klicken Sie neben dem externen Katalog auf Aktionssymbol mit drei Punkten Aktionen und dann auf Beschreibung bearbeiten.

    Menü mit drei Punkten für einen Katalog, der mit hervorgehobener Option "Beschreibung bearbeiten" geöffnet ist

  3. Nehmen Sie die gewünschten Änderungen an der Katalogbeschreibung vor, und klicken Sie auf Speichern.

Externen Katalog umbenennen

Sie können Ihre externen Kataloge umbenennen, um ein beschreibendes Label anzugeben, wenn sich der Inhalt oder Zweck des Katalogs geändert hat.

Sie können den Standardkatalog nicht umbenennen.
  1. Klicken Sie auf der Homepage auf Hauptkatalog.
  2. Klicken Sie neben Ihrem Katalog auf Aktionssymbol mit drei Punkten Aktionen und dann auf Umbenennen.

    Drei-Punkte-Menü für Katalog mit hervorgehobenem Umbenennen geöffnet

  3. Nehmen Sie die gewünschten Änderungen am Katalognamen vor, und klicken Sie auf Speichern.

Externe Katalogkonfiguration bearbeiten

Sie können die Konfiguration eines externen Katalogs bearbeiten, um das erforderliche Kennwort zu aktualisieren.

  1. Klicken Sie auf der Homepage auf Hauptkatalog.
  2. Klicken Sie neben Ihrem Katalog auf Aktionssymbol mit drei Punkten Aktionen und dann auf Konfiguration bearbeiten.
  3. Geben Sie das neue Kennwort für den externen Katalog ein, und klicken Sie auf Speichern.

Externen Katalog löschen

Sie können externe Kataloge löschen, um alle lokal gespeicherten Metadaten zu entfernen.

Wenn Sie einen externen Katalog löschen, werden nur die lokal gespeicherten Metadaten gelöscht. Die Daten in der Datenquelle sind davon nicht betroffen.

  1. Klicken Sie auf der Homepage auf Masterkatalog.
  2. Klicken Sie neben Ihrem Katalog auf Aktionssymbol mit drei Punkten Aktionen und dann auf Löschen.

    Menü mit drei Punkten für Katalog geöffnet, wobei "Löschen" hervorgehoben ist

  3. Wählen Sie Löschen der Kataloge bestätigen aus.
  4. Klicken Sie auf Löschen.

So löschen Sie Daten aus Tabellen in einem externen Katalog

Mit dem Spark-Schreibpfad können Sie Zeilen aus einer externen Katalogtabelle löschen, wenn der Katalog und die Tabelle so konfiguriert sind, dass Pushdown-SQL DELETE unterstützt wird.

Tabellendaten mit Katalog-ID löschen: Python-Beispiel

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

Tabellendaten mit Katalog-ID löschen: Scala-Beispiel

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

Beispiel für Aufnahme zum Löschen von Tabellendaten: Python-Beispiel

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

Beispiel für Aufnahme zum Löschen von Tabellendaten: Scala-Beispiel

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()