4 Gérer avec le catalogue maître

Ce chapitre vous aide à utiliser et à comprendre le catalogue maître, les catalogues standard et externes, le schéma, les tables et les volumes.

Rubriques :

Catalogue principal

Master Catalog dans AI Data Platform Workbench est l'entité de premier niveau qui vous permet de gérer vos données et métadonnées en fournissant une vue centralisée.

Le catalogue principal est un conteneur pour les catalogues standard et externes. Vous créez des catalogues avec leurs ressources de données dans Oracle Autonomous AI Lakehouse, OCI Object Storage et Kafka. Le catalogue maître vous permet d'appliquer des autorisations sur ses objets enfant.

Les catalogues standard et externes ont des fonctions et des cas d'utilisation différents :

  • Catalogue standard : un catalogue standard est un conteneur logique pour les schémas (bases de données), les utilisateurs peuvent créer des tables, des vues et des volumes dans un schéma. Le catalogue standard gère le cycle de vie des métadonnées de tous les objets enfant.
  • Catalogue externe : un catalogue externe est soutenu par des sources de données externes telles qu'Oracle Autonomous AI Lakehouse, Kafka, etc. Dans le cas d'un catalogue externe, les métadonnées sont synchronisées à partir de la source externe et les utilisateurs peuvent interroger les données d'une source externe à l'aide du nom en 3 parties, tel que catalog_name.schema_name.table_name. Dans le cas d'un catalogue externe, le cycle de vie des métadonnées est géré par la source externe et le catalogue maître conserve une copie des métadonnées.

Cas d'utilisation pour le catalogue principal

Les catalogues maîtres peuvent être utilisés pour faciliter la préparation et l'analyse des données, le stockage de données non structurées, etc.

Interroger et analyser des données à l'aide de la syntaxe SQL

Créez des tables gérées ou externes dans un catalogue standard pour interroger et analyser les données à l'aide d'une syntaxe de type SQL familière, ce qui facilite l'exploration et la compréhension des données stockées dans AI Data Platform.

Préparation des données

Tirez parti du format structuré des données stockées dans des tables gérées/externes pour préparer les données pour les modèles de machine learning, ce qui facilite le nettoyage, la transformation et l'ingénierie des fonctionnalités des données. Cela facilite l'accès aux données et leur traitement efficaces pour l'ingénierie des fonctionnalités et l'entraînement des modèles

Déplacement de temps

Les formats de table ouverts prennent en charge l'évolution des schémas. La structure des données peut changer au fil du temps sans réécrire l'ensemble de données. Ces tables peuvent être gérées par version et les utilisateurs peuvent exécuter des requêtes de déplacement temporel vous permettant d'interroger les versions historiques des données, ce qui facilite l'analyse rétrospective et la récupération des données.

Prise en charge des transactions ACID

Les formats de table ouverts prennent en charge les opérations complètes de création, de lecture, de mise à jour et de suppression (CRUD), ce qui garantit la cohérence des données et active les mises à jour de données. Les tables peuvent être utilisées pour stocker et gérer des données transactionnelles, ce qui permet aux applications de suivre les modifications apportées aux données.

Lecture et écriture efficaces des données

Les tables d'AI Data Platform Workbench peuvent être partitionnées, ce qui permet un accès et un traitement efficaces des données, en particulier pour les grands ensembles de données.

Stocker et traiter des données non structurées

Créez des volumes gérés ou externes pour stocker des données non structurées afin qu'elles puissent être traitées à l'aide d'Apache Spark.