Mit Hauptkatalog verwalten

27 Mit Master Catalog verwalten

In diesem Kapitel können Sie den Masterkatalog, Standardkataloge und externe Kataloge, Schemas, Tabellen und Volumes in Oracle AI Data Platform verwenden und verstehen.

Themen:

Hauptkatalog

In Oracle AI Data Platform ist der Masterkatalog die Entity der obersten Ebene, mit der Sie Ihre Daten und Metadaten verwalten können, indem Sie eine zentralisierte Ansicht bereitstellen.

Der Hauptkatalog ist ein Container für Standard- und externe Kataloge. Sie erstellen Kataloge mit ihren Datenassets in Oracle Autonomous AI Lakehouse, OCI Object Storage und Kafka. Mit dem Masterkatalog können Sie Berechtigungen für die untergeordneten Objekte erzwingen.

Standard- und externe Kataloge haben unterschiedliche Funktionen und Anwendungsfälle:

Standardkatalog: Ein Standardkatalog ist ein logischer Container für Schemas (Datenbanken). Benutzer können Tabellen, Views und Volumes in einem Schema erstellen. Der Standardkatalog verwaltet den Lebenszyklus von Metadaten aller untergeordneten Objekte.
Externer Katalog: Ein externer Katalog wird von externen Datenquellen wie Oracle Autonomous AI Lakehouse oder Kafka unterstützt. Bei einem externen Katalog werden die Metadaten aus der externen Quelle synchronisiert, und Benutzer können die Daten in der externen Quelle mit dem 3-Teilen-Namen abfragen, wie catalog_name.schema_name.table_name. Der Metadatenlebenszyklus wird von der externen Quelle verwaltet, und der Masterkatalog speichert eine Kopie der Metadaten.

Zum Erstellen, Ändern und Löschen von Standardkatalogen und externen Katalogen benötigen Sie bestimmte Berechtigungen. Siehe Masterkatalogberechtigungen.

Anwendungsfälle für den Hauptkatalog

Sie können den Master-Katalog nutzen, um die Datenvorbereitung und -analyse zu unterstützen, unstrukturierte Daten zu speichern und vieles mehr.

Daten mit SQL-Syntax abfragen und analysieren

Erstellen Sie verwaltete oder externe Tabellen in einem Standardkatalog, um Daten mit vertrauter SQL-ähnlicher Syntax abzufragen und zu analysieren. So können Sie die in Oracle AI Data Platform gespeicherten Daten leichter erkunden und verstehen.

Daten für maschinelles Lernen vorbereiten

Nutzen Sie das strukturierte Datenformat, das in verwalteten externen Tabellen gespeichert ist, für die Vorbereitung von Daten für Modelle des maschinellen Lernens. So können Sie Daten einfacher bereinigen, transformieren und Feature Engineers erstellen. Dies erleichtert den effizienten Datenzugriff und die effiziente Verarbeitung für Feature Engineering und Modelltraining.

Historische Daten mit Zeitreisen abfragen

Offene Tabellenformate unterstützen die Schemaentwicklung. Die Struktur der Daten kann sich im Laufe der Zeit ändern, ohne das gesamte Dataset neu zu schreiben. Versionieren Sie diese Tabellen und Laufzeit-Reiseabfragen, um historische Datenversionen abzufragen. Dies erleichtert die retrospektive Analyse und Datenwiederherstellung.

ACID-Transaktionen unterstützen

Offene Tabellenformate unterstützen vollständige CRUD-Vorgänge (Create, Read, Update, and Delete), die Datenkonsistenz gewährleisten und Datenaktualisierungen ermöglichen. Mit Tabellen können Sie Transaktionsdaten speichern und verwalten, damit Anwendungen Änderungen an den Daten verfolgen können.

Daten effizient lesen und schreiben

Partitionieren Sie Tabellen in AI Data Platform, um einen effizienten Datenzugriff und eine effiziente Datenverarbeitung zu ermöglichen, insbesondere für große Datasets.

Unstrukturierte Daten speichern und verarbeiten

Erstellen Sie verwaltete oder externe Volumes zum Speichern unstrukturierter Daten, damit sie mit Apache Spark verarbeitet werden können.

Mandantenübergreifende externe Tabellen und Volumes

Mit mandantenübergreifenden externen Tabellen und Volumes können Sie sicher auf Daten zugreifen und diese abfragen, die in unterschiedlichen Mandanten gespeichert sind, ohne dass komplexe ETL-Pipelines oder manuelle Datenverschiebungen erforderlich sind.

Mit Oracle AI Data Platform können Sie mandantenübergreifende externe Tabellen und Volumes erstellen. Dies ist eine leistungsstarke Funktion, mit der Datensilos vermieden und die Zusammenarbeit optimiert werden können.

Die Vorteile von Cross-Tenancy sind:

Keine Datenduplizierung: Sie greifen dort auf Live-Daten zu, wo sie gespeichert sind, sparen Speicherkosten und stellen die Single Source of Truth-Integrität sicher.
Vereinfachte Governance: Sie verwalten Berechtigungen grenzüberschreitend mit Identity and Access Management-(IAM-)Policys und AI Data Platform-Zugriffskontrollen.

Mandantenübergreifender Zugriff - Anforderungen

Für das Einrichten des mandantenübergreifenden Zugriffs für externe Tabellen und Volumes sind bestimmte IAM-Policys erforderlich, die in einem Providermandanten und einem Consumer-Mandanten konfiguriert sind.

Im Providermandanten müssen Sie eine IAM-Dynamische Gruppe in der Oracle Cloud Infrastructure-(OCI-)Konsole erstellen, die Ihre spezifische AI Data Platform-Ressource als Mitglied enthält. Weitere Informationen finden Sie unter Dynamische Gruppen verwalten.

Nachdem Sie die dynamische IAM-Gruppe erstellt haben, müssen Sie IAM-Policys im Providermandanten konfigurieren:

Ressourcen in IAM für Consumer-Mandanten, Benutzergruppen und dynamische Gruppen definieren
admit-IAM-Policy für die Consumer-Mandantenressourcen schreiben

define tenancy <consumer_tenancy_name1> as <consumer tenancy OCID>
define group <group_name1> as <consumer user group>
define dynamic-group <dynamic_group_name1> as <consumer dynamic group OCID>

admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy
admit group <group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy

Nachdem Sie die IAM-Policys des Providermandanten konfiguriert haben, müssen Sie die IAM-Policys des Consumer-Mandanten konfigurieren:

Ressource in IAM für Providermandanten definieren
endorse-IAM-Policy für die Ressourcen der lokalen Verbrauchermandanten erstellen

define tenancy <provider_tenancy_name1> as <provider tenancy OCID>

endorse dynamic-group <dynamic_group_name> to manage object-family in tenancy <provider_tenancy_name1>
endorse dynamic-group <dynamic_group_name> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy <provider_tenancy_name1>
endorse group <group_name> to manage object-family in tenancy <provider_tenancy_name1>

Nachdem sowohl die IAM-Policys für Provider- als auch Verbrauchermandanten konfiguriert wurden, können Sie mandantenübergreifende externe Tabellen und Volumes mit der SQL-Grammatik erstellen. Weitere Informationen finden Sie unter SQL-Grammatik.

Beispiel: Mandantenübergreifende Tabelle mit SQL erstellen

CREATE EXTERNAL TABLE [IF NOT EXISTS] <catalog_name>.<schema-name>.<table-name>
[ ( <column1-name><column1-type> [comment <column1-comment>], ... ) ]
USING [HIVE|DELTA, CSV, TXT, ORC, JDBC, PARQUET, etc.]
LOCATION 'oci://my-bucket@mytenancynamespace/my-folder/'
[TBLPROPERTIES ( DESCRIPTION = 'some-description', '<property-name>'='<property-value>'[, ...]) ]

Beschränkung

AI Data Platform unterstützt das Erstellen mandantenübergreifender externer Tabellen oder externer Volumes in der UI nicht.