Externe Kataloge

Erstellen Sie externe Kataloge, um Daten von einem Speicherort außerhalb von Oracle AI Data Platform zu beziehen.

LiveLabs-Sprint

Externe Kataloge verbinden AI Data Platform mit externen Datenquellen, wie Oracle Autonomous AI Lakehouse, Oracle AI Database und Oracle Autonomous AI Transaction Processing, und Drittanbieter-Shops wie Snowflake, Azure SQL und MySQL. AI Data Platform erkennt und synchronisiert Metadaten aus diesen Quellen im Masterkatalog, sodass Benutzer Remote-Schemas und -Tabellen durchsuchen und abfragen können, ohne die zugrunde liegenden Daten zu duplizieren.

Externe Kataloge verwenden die bei der Erstellung des externen Katalogs angegebenen Zugangsdaten für die Abfrage der externen Quelle. Weitere Informationen zu Datenquellen finden Sie unter Interne Quellen.

Beispiel: Wenn Sie einen externen Katalog für eine Autonomous AI Lakehouse-Instanz erstellen, in der die verwendeten Autonomous AI Lakehouse-Benutzerzugangsdaten Zugriff auf schema1, aber nicht auf schema2 haben, wird im externen Katalog nur schema1 angezeigt. Benutzer mit Berechtigungen für den externen Katalog können nur das Schema abfragen, auf das der Autonomous AI Lakehouse-Benutzer Zugriff hat.

Hinweis:

AI Data Platform unterstützt kein Harvesting von Daten aus Schemas und Tabellen, die von mehreren integrierbaren Datenbanken (PDBs) oder von von Oracle verwalteten Schemas und Tabellen gemeinsam verwendet werden.

Erforderliche Berechtigungen für Autonomous AI Lakehouse und Autonomous AI Transaction Processing

Wenn Sie einen externen Katalog in AI Data Platform erstellen, müssen die Benutzerzugangsdaten, die Sie für die Verbindung verwenden, mindestens die folgenden Berechtigungen aufweisen:

• CREATE SESSION, um eine Verbindung zur Datenbank herzustellen
• SELECT-Zugriff auf die erforderlichen Objekte (Tabellen/Ansichten/externe Tabellen) über Berechtigungen mit der geringsten Berechtigung oder eine dedizierte Leserolle
• LESEN, SCHREIBEN AUF DIRECTORY DATA_PUMP_DIR

Wenn Sie Daten einfügen oder eine neue Tabelle im externen Katalog erstellen, stellen Sie sicher, dass der Benutzer Teil der DWROLE ist. Weitere Informationen finden Sie in der Oracle Autonomous AI Transaction Processing-Dokumentation unter Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool.

Einschränkungen

Der Vorgang UPDATE wird für externe Kataloge nicht unterstützt. Verwenden Sie externe Katalogtabellen für Discovery- und Abfragezugriff.

DDL wird nicht unterstützt, selbst wenn die zum Erstellen des externen Katalogs verwendeten Zugangsdaten Berechtigungen zum Ausführen von DDL-Anweisungen haben.

Die Groß-/Kleinschreibung von Tabellennamen wirkt sich darauf aus, wie die Tabelle in Oracle Autonomous AI Lakehouse erstellt wird:

• Wenn Sie den Tabellennamen in Großbuchstaben angeben, wird die Tabelle in Großbuchstaben erstellt und folgt dem Standardverhalten ohne Beachtung der Groß-/Kleinschreibung in Autonomous AI Lakehouse.
• Wenn Sie den Tabellennamen in Kleinbuchstaben angeben, wird die Tabelle in Autonomous AI Lakehouse unter Berücksichtigung der Groß-/Kleinschreibung erstellt. Spaltennamen für Tabellen, die mit Autonomous AI Lakehouse erstellt wurden, werden immer unter Beachtung der Groß-/Kleinschreibung erstellt.
• Die Kommentare der Quellspalte sind während der Aufnahme und Aktualisierung des externen Katalogs auf 256 UTF-8 Byte begrenzt. Der Grenzwert wird in Byte und nicht in Zeichen gemessen. Daher können Kommentare, die Multibyte-Zeichen enthalten, den Grenzwert überschreiten, wenn sie maximal 256 Zeichen enthalten. Wenn Sie den Grenzwert überschreiten, kann die Metadatenaufnahme oder -aktualisierung fehlschlagen. Reduzieren Sie den Kommentar der Quellspalte auf 256 UTF-8 Byte oder weniger, und wiederholen Sie den Vorgang.

Externen Katalog erstellen

Sie können einen Katalog von Ihrer Oracle AI Data Platform-Instanz mit einer externen Quelle verbinden.

1. Klicken Sie im linken Navigationsbereich auf Erstellen, und wählen Sie Katalog aus. Sie können auch zum Masterkatalog navigieren und auf Katalog im Masterkatalog erstellen klicken.
2. Geben Sie Werte in die Felder "Name" und "Beschreibung" ein.
3. Wählen Sie in der Dropdown-Liste Katalogtyp die Option Externer Katalog aus.
4. Wählen Sie den externen Quelltyp aus.

   Datenquelle	Felder
   Oracle Autonomous AI Lakehouse	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle Autonomous AI Transaction Processing	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle AI Database	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle Exadata Database Service	Geben Sie Host, Port, Servicename/SID an.
   Snowflake	Geben Sie den Namen des Snowflake-Accounts, den Datenbanknamen und das Warehouse an. Wählen Sie die Authentifizierungsmethode als Schlüsselpaar aus, und geben Sie dann die Private-Key-Datei und die Private-Key-Passphrase an.
   Azure-SQL	Geben Sie den Host-, Port- und Datenbanknamen an (optional).
   MySQL	Stellen Sie Host und Port bereit.
   Google Big Query	Geben Sie Host, Port, Projekt-ID, E-Mail-Adresse des Serviceaccounts und Private Key an.
   DB2	Geben Sie Host-, Port- und Datenbanknamen an.
   Kafka (In Kürze)	Geben Sie den Bootstrap-Server an. Trennen Sie mehrere Server durch ein Komma.

5. Tragen Sie ggf. den Benutzernamen und das Kennwort ein.
6. SSL ist standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, um SSL zu deaktivieren.
7. Klicken Sie auf Create.
   Externe Kataloge, die Daten aus einer externen Quelle extrahieren, zeigen ein Kreis-Symbol an.
   

   

   
   

   Sie können den Fortschritt auch unter Jobausführungen überwachen.

Externen Katalog für private Netzwerke erstellen

Sie können einen externen Katalog erstellen, der auf Datenquellen in einem privaten Netzwerk zugreift.

1. Klicken Sie im linken Navigationsbereich auf Erstellen, und wählen Sie Katalog aus. Sie können auch zum Masterkatalog navigieren und auf Katalog im Masterkatalog erstellen klicken.
2. Geben Sie Werte in die Felder "Name" und "Beschreibung" ein.
3. Wählen Sie in der Dropdown-Liste Katalogtyp die Option Externer Katalog aus.
4. Wählen Sie den externen Quelltyp aus:

   Datenquelle	Felder
   Oracle Autonomous AI Lakehouse	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle Autonomous AI Transaction Processing	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle AI Database	Geben Sie entweder eine Wallet-Datei oder die Instanzkonfiguration an.
   Oracle Exadata Database Service	Geben Sie Host, Port, Servicename/SID an.
   Kafka (In Kürze)	Geben Sie den Bootstrap-Server an. Trennen Sie mehrere Server durch ein Komma.

5. Tragen Sie ggf. den Benutzernamen und das Kennwort ein.
6. SSL ist standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, um SSL zu deaktivieren.
7. Wählen Sie Privates Netzwerk aktivieren aus.
8. Wählen Sie den Workspace mit der gewünschten privaten Netzwerkkonfiguration aus.
   Informationen zum Einrichten eines Workspace, der für private Netzwerke konfiguriert ist, finden Sie unter Workspace mit aktiviertem privaten Netzwerkzugriff erstellen.
9. Klicken Sie auf Create.
   Externe Kataloge, die Daten aus einer externen Quelle extrahieren, zeigen ein Kreis-Symbol an.
   

   

   
   

   Sie können den Fortschritt auch unter Jobausführungen überwachen.

So verbinden Sie Oracle Autonomous AI Database on Exadata Cloud@Customer mit Oracle AI Data Platform

Sie können einen externen Katalog für eine Oracle Autonomous AI Transaction Processing-, Oracle Autonomous AI Database- oder Oracle Autonomous AI Lakehouse-Datenbank erstellen, die auf Oracle Autonomous AI Database on Exadata Cloud@Customer ausgeführt wird. Wenn nur über ein privates Netzwerk auf die Datenbank zugegriffen werden kann, konfigurieren Sie einen AI Data Platform-Workspace mit privatem Netzwerkzugriff und den Datenbank-SCAN-Details.

Die Verbindung verwendet TLS mit einem Clientzugangsdaten-Wallet.

Anforderungen

Bevor Sie beginnen, stellen Sie Folgendes sicher:

• Die Datenbank wird bereitgestellt und verfügbar.
• Sie haben das Wallet mit den Datenbankclientzugangsdaten heruntergeladen.
• Sie kennen den vollständigen SCAN-Domainnamen und den TLS-Listener-Port der Datenbank.
• Der SCAN-Name kann aus dem privaten Netzwerk aufgelöst werden, das vom AI Data Platform-Workspace verwendet wird.
• Netzwerkrouten und Sicherheitsregeln ermöglichen Traffic vom Workspace-Netzwerk zum Port des Datenbank-Listeners.
• Sie sind berechtigt, die erforderlichen VCN-, Subnetz- und Netzwerksicherheitsgruppen zu prüfen.
• Der Datenbankbenutzer verfügt über CREATE SESSION- und SELECT-Berechtigungen für die Schemas und Objekte, die Sie über den externen Katalog bereitstellen möchten.
• Der Datenbankbenutzer verfügt über alle zusätzlichen Berechtigungen, die für die beabsichtigten Lese- oder Schreibvorgänge erforderlich sind.

Nur Schemas und Objekte, auf die der angegebene Datenbankbenutzer zugreifen kann, werden erkannt und dem externen Katalog hinzugefügt.

Workspace mit privater Konnektivität erstellen

Befolgen Sie die Schritte unter Workspace mit aktiviertem privaten Netzwerkzugriff erstellen mit den folgenden Änderungen:

• Geben Sie das VCN und das Subnetz an, die Konnektivität zu Ihrer Oracle Exadata Cloud@Customer-Umgebung bereitstellen.
• Wählen Sie unter Erweiterte Netzwerkoptionen die Option Meine Datenquellen erfordern Zugriff über einen SCAN-Proxy aus.
• Geben Sie den vollqualifizierten Datenbank-SCAN-Domänennamen ein.
• Geben Sie den TLS-Listener-Port der Datenbank ein.

Externen Katalog erstellen

Führen Sie die unter Externen Katalog für private Netzwerke erstellen angegebenen Schritte mit der folgenden Auswahl aus:

• Wählen Sie unter Externer Quelltyp die Option Oracle Autonomous AI Transaction Processing aus.
• Wählen Sie unter Verbindungsmethode die Option Wallet aus.
• Laden Sie das Clientzugangsdaten-Wallet hoch, das aus der Datenbank heruntergeladen wurde.
• Wählen Sie den erforderlichen Datenbankservice aus dem Wallet aus.
• Geben Sie das Wallet-Kennwort an, falls erforderlich.
• Wählen Sie den oben konfigurierten Workspace mit Zugriff auf das Datenbanknetzwerk und die SCAN-Adresse aus.
• Testen Sie die Verbindung, um zu bestätigen, dass alles korrekt konfiguriert ist.

Verbindung validieren

Nachdem die Katalogerstellung und Metadaten-Discovery abgeschlossen sind:

• Prüfen Sie, ob die erwarteten Schemas und Tabellen im externen Katalog angezeigt werden.
• Starten Sie ein Compute-Cluster im privaten Workspace, oder wählen Sie es aus.
• Fragen Sie eine erkannte Tabelle mit ihrem dreiteiligen Namen ab:

SELECT *
FROM <catalog_name>.<schema_name>.<table_name>;

Externen Datenkatalog aktualisieren

Sie können einen externen Katalog in Oracle AI Data Platform aktualisieren, um seinen Inhalt mit der externen Quelle zu synchronisieren.

1. Klicken Sie im linken Navigationsbereich auf Masterkatalog.
2. Wählen Sie in der Hauptkatalogstruktur den externen Katalog aus, den Sie aktualisieren möchten.
3. Klicken Sie auf Aktualisieren.
   Der externe Katalog wird unter dem Masterkatalog mit einem Kreislaufsymbol angezeigt, während er Daten extrahiert und Metadaten aus der externen Quelle aktualisiert.
   

   

   
   

   Sie können den Fortschritt auch unter Jobausführungen überwachen. Informationen hierzu finden Sie unter Jobs überwachen.

Externen Katalog mit SQL aktualisieren

Mit der SQL-Grammatik können Sie Metadaten für einen externen Katalog sowie dessen Schema und Tabellen aktualisieren, um den Inhalt mit der externen Quelle zu synchronisieren.

Um einen externen Katalog zu aktualisieren, verwenden Sie die folgenden SQL-Befehle in einem Notizbuch:

REFRESH EXTERNAL CATALOG <<catalog_name>>

Um ein Schema in einem externen Katalog zu aktualisieren, verwenden Sie:

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

Um eine Tabelle in einem Schema in einem externen Katalog zu aktualisieren, verwenden Sie:

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

Weitere Informationen finden Sie unter SQL-Grammatik.

Externen Katalog umbenennen

Sie können einen externen Katalog umbenennen, wenn sich dessen Inhalt oder Zweck geändert hat.

1. Klicken Sie im linken Navigationsbereich auf Masterkatalog.
2. Suchen Sie auf der Registerkarte "Kataloge" den Katalog, und klicken Sie auf Aktionen und dann auf Umbenennen.
   
   

   

   
   
3. Bearbeiten Sie den Katalognamen, und drücken Sie die Eingabetaste.

Externe Katalogbeschreibung bearbeiten

Sie können die Beschreibung für einen externen Katalog ändern, wenn sich dessen Inhalt oder Zweck geändert hat.

1. Klicken Sie im linken Navigationsbereich auf Masterkatalog.
2. Suchen Sie auf der Registerkarte "Kataloge" Ihren Katalog, und klicken Sie auf Aktionen und dann auf Beschreibung bearbeiten.
   
   

   

   
   
3. Bearbeiten Sie die Katalogbeschreibung, und klicken Sie auf Speichern.

Kennwort für einen externen Katalog ändern

Sie können das erforderliche Kennwort für einen externen Katalog aktualisieren, damit er weiterhin auf die Quelle zugreifen kann.

1. Klicken Sie im linken Navigationsbereich auf Masterkatalog.
2. Suchen Sie auf der Registerkarte "Kataloge" Ihren Katalog, und klicken Sie auf Aktionen und dann auf Kennwort ändern.
3. Geben Sie das neue Kennwort für den externen Katalog ein, und klicken Sie auf Speichern.

Externen Katalog löschen

Sie können einen externen Katalog löschen, wenn er nicht mehr benötigt wird.

Wenn Sie einen externen Katalog löschen, werden nur die lokal gespeicherten Metadaten gelöscht. Daten in der externen Datenquelle sind davon nicht betroffen.

1. Klicken Sie im linken Navigationsbereich auf Masterkatalog.
2. Suchen Sie auf der Registerkarte "Kataloge" den Katalog, und klicken Sie auf Aktionen und dann auf Löschen.
   
   

   

   
   
3. Wählen Sie Löschen der Kataloge bestätigen aus.
4. Klicken Sie auf Löschen.

Daten aus Tabellen in einem externen Katalog löschen

Mit dem Spark-Schreibpfad können Sie Zeilen aus einer externen Katalogtabelle löschen, wenn der Katalog und die Tabelle so konfiguriert sind, dass Pushdown-SQL DELETE unterstützt wird.

Tabellendaten mit Katalog-ID löschen: Python-Beispiel

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

Tabellendaten mit Katalog-ID löschen: Scala-Beispiel

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

Beispiel für Aufnahme zum Löschen von Tabellendaten: Python-Beispiel

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

Beispiel für Aufnahme zum Löschen von Tabellendaten: Scala-Beispiel

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()