Grâce à la synchronisation avec les métadonnées Data Catalog, Autonomous Database crée automatiquement des tables externes pour chaque entité logique collectée par Data Catalog. Ces tables externes sont définies dans des schémas de base de données entièrement gérés par le processus de synchronisation des métadonnées. Les utilisateurs peuvent immédiatement interroger les données sans avoir à dériver manuellement le schéma (colonnes et types de données) pour les sources de données externes et à créer manuellement des tables externes.

La synchronisation est dynamique, ce qui maintient Autonomous Database à jour en ce qui concerne les modifications apportées aux données sous-jacentes et réduit les coûts d'administration car il gère automatiquement des centaines à des milliers de tables. Elle permet également à plusieurs instances Autonomous Database de partager le même catalogue de données, ce qui réduit encore les coûts de gestion et fournit un ensemble commun de définitions fonctionnelles.

Les dossiers/buckets Data Catalog sont des conteneurs qui se synchronisent avec les schémas Autonomous Database. Les entités logiques contenues dans ces dossiers/buckets sont mises en correspondance avec les tables externes Autonomous Database. Ces schémas et tables externes sont générés et tenus à jour automatiquement via le traitement de synchronisation :

• Les dossiers/buckets sont mis en correspondance avec les schémas de base de données conçus à des fins d'organisation uniquement.
• L'organisation est censée être cohérente avec le lac de données et minimiser la confusion lors de l'accès aux données par différents chemins.
• Data Catalog est la source d'informations pour les tables contenues dans les schémas. Les modifications apportées dans Data Catalog mettent à jour les tables du schéma lors d'une synchronisation ultérieure.

Pour utiliser cette fonctionnalité, un administrateur Database Data Catalog lance une connexion à une instance Data Catalog, sélectionne les ressources de données et les entités logiques à synchroniser et exécute la synchronisation. Le processus de synchronisation crée des schémas et des tables externes en fonction des entités logiques et des ressources de données collectées Data Catalog sélectionnées. Dès que les tables externes sont créées, les analystes de données peuvent commencer à interroger leurs données sans avoir à dériver manuellement le schéma pour les sources de données externes et à créer des tables externes.

Il est nécessaire de maîtriser ces concepts pour effectuer des interrogations avec Data Catalog.

Data Catalog

Data Catalog collecte les ressources de données qui pointent vers les sources de données de banque d'objets à interroger avec Autonomous Database. A partir de Data Catalog, vous pouvez indiquer l'organisation des données lors de la collecte, en prenant en charge différents modèles d'organisation de fichier. Dans le cadre du processus de collecte de Data Catalog, vous pouvez sélectionner les buckets et les fichiers à gérer dans la ressource. Pour plus d'informations, reportez-vous à Présentation de Data Catalog.

Banques d'objets

Les banques d'objets sont composées de buckets contenant divers objets. Voici quelques types courants d'objet trouvés dans ces buckets : fichiers CSV, parquet, avro, json et ORC. Les buckets ont généralement une structure ou un modèle de conception pour les objets qu'ils contiennent. Il existe de nombreuses méthodes de structure des données et d'interprétation de ces modèles.

Par exemple, un modèle de conception standard utilise des dossiers de niveau supérieur qui représentent des tables. Les fichiers d'un dossier donné partagent le même schéma et contiennent les données de cette table. Les sous-dossiers sont souvent utilisés pour représenter des partitions de table (par exemple, un sous-dossier pour chaque jour). Data Catalog fait référence à chaque dossier de niveau supérieur en tant qu'entité logique et cette entité logique est mise en correspondance avec une table externe Autonomous Database.

Connexion

Une connexion est une connexion Autonomous Database à une instance Data Catalog. Pour chaque instance Autonomous Database, il peut y avoir des connexions à plusieurs instances Data Catalog. Les informations d'identification Autonomous Database doivent disposer des droits d'accès aux ressources Data Catalog qui ont été collectées à partir du stockage d'objet.

Collecter

Il s'agit d'un processus Data Catalog qui analyse le stockage d'objet et génère des entités logiques à partir de vos ensembles de données.

Ressource de Données

Une ressource de données dans Data Catalog représente une source de données, qui inclut les bases de données, Oracle Object Storage, Kafka, etc. Autonomous Database utilise les ressources Oracle Object Storage pour la synchronisation des métadonnées.

Entité de données

Une entité de données dans Data Catalog est une collection de données telle qu'une vue ou une table de base de données, ou un fichier unique. Elle possède généralement de nombreux attributs qui décrivent ses données.

Entité logique

Dans les lacs de données, de nombreux fichiers comprennent généralement une seule entité logique. Par exemple, vous pouvez disposer de fichiers de parcours de navigation quotidiens, qui partagent le même schéma et le même type de fichier.

Une entité logique Data Catalog est un groupe de fichiers Object Storage dérivés lors de la collecte en appliquant des modèles de nom de fichier créés et affectés à une ressource de données.

Object de données

Un objet de données Data Catalog fait référence aux ressources de données et aux entités de données.

Modèle de nom de fichier

Dans un lac de données, les données peuvent être organisées de différentes manières. En général, les dossiers capturent les fichiers du même schéma et du même type. Vous devez inscrire dans Data Catalog l'organisation de vos données. Les modèles de nom de fichier permettent d'identifier l'organisation de vos données. Dans Data Catalog, vous pouvez définir des modèles de nom de fichier à l'aide d'expressions régulières. Lorsque Data Catalog collecte une ressource de données avec un modèle de nom de fichier affecté, des entités logiques sont créées en fonction de ce modèle. En définissant et en affectant ces modèles aux ressources de données, vous pouvez regrouper plusieurs fichiers en entités logiques en fonction du modèle de nom de fichier.

Synchroniser (synchroniser)

Autonomous Database effectue des synchronisations avec Data Catalog pour maintenir automatiquement sa base de données à jour en fonction des modifications apportées aux données sous-jacentes. La synchronisation peut être effectuée manuellement ou selon une programmation.

Le processus de synchronisation crée des schémas et des tables externes en fonction des entités logiques et des ressources de données Data Catalog. Ces schémas sont protégés, ce qui signifie que leurs métadonnées sont gérées par Data Catalog. Pour modifier les métadonnées, vous devez apporter les modifications dans Data Catalog. Les schémas Autonomous Database reflètent les modifications après l'exécution de la synchronisation suivante. Pour plus d'informations, reportez-vous à Mise en correspondance de la synchronisation.

Le processus de synchronisation crée et met à jour les schémas et les tables externes Autonomous Database en fonction des ressources de données, des dossiers, des entités logiques, des attributs et des remplacements personnalisés pertinents de Data Catalog.

Un workflow standard d'actions peut être exécuté par les utilisateurs qui veulent effectuer des interrogations avec Data Catalog.

select * from all_dcat_connections;

Dans ce scénario, MovieSideream capture des données dans une zone de destination sur Object Storage. La plupart de ces données, mais pas nécessairement toutes, sont ensuite utilisées pour créer un flux vers une instance Autonomous Database. Avant d'alimenter une instance Autonomous Database, les données sont transformées, nettoyées, puis stockées dans la zone "gold".

1. Banque d'objets - Vérification des buckets, dossiers et fichiers
   1. Vérifiez les buckets dans la banque d'objets.
      Voici, par exemple, les buckets de destination (moviestream_landing) et de zone gold (moviestream_gold) dans le stockage d'objets :
   2. Vérifiez les dossiers et les fichiers dans les buckets de la banque d'objets.
      Par exemple, voici les dossiers du bucket de renvoi (moviestream_landing) dans le stockage d'objets :
2. Data Catalog - Création de modèles de nom de fichier
   1. Informez Data Catalog de l'organisation de vos données à l'aide de modèles de nom de fichier. Ce sont des expressions régulières utilisées pour classer les fichiers. Les modèles de nom de fichier sont utilisés par le collecteur Data Catalog pour déterminer les entités logiques. Les deux modèles de nom de fichier suivants sont utilisés pour collecter les buckets de l'exemple MovieStream. Pour plus d'informations sur la création de modèles de nom de fichier, reportez-vous à Collecte de fichiers Object Storage en tant qu'entités de données logiques.

      Type Hive	Type dossier
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*	{bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      Crée des entités logiques pour les sources qui contiennent ".db" comme première partie du nom d'objet. Pour garantir l'unicité dans le bucket, le nom obtenu est (nom-bdb).(nom de dossier).	Crée une entité logique basée sur le nom du dossier qui se trouve dans la racine. Pour éviter la duplication avec Hive, les noms d'objet qui contiennent ".db" sont ignorés.

   2. Pour créer des modèles de nom de fichier, accédez à l'onglet Modèles de nom de fichier de votre catalogue de données, puis cliquez sur Créer un modèle de nom de fichier. L'exemple suivant montre l'onglet Créer un modèle de nom de fichier pour le catalogue de données moviestream :
3. Data Catalog - Création d'une ressource de données
   1. Créez une ressource de données à utiliser pour collecter des données à partir de votre banque d'objets.
      Par exemple, une ressource de données nommée phoenixObjStore est créée dans le catalogue de données moviestream :
   2. Ajouter une connexion à votre ressource de données
      Dans cet exemple, la ressource de données se connecte au compartiment de la ressource de stockage d'objet moviestream.
   3. Maintenant, associez vos modèles de nom de fichier à votre ressource de données. Sélectionnez Affecter des modèles de nom de fichier, cochez les modèles de votre choix et cliquez sur Affecter.
      Par exemple, voici les modèles affectés à la ressource de données phoenixObjStore :
      Description de l'illustration assign_filename_patterns_v1.png
4. Data Catalog - collecte des données à partir de la banque d'objets
   1. Collectez la ressource de données Data Catalog. Sélectionnez les buckets de banque d'objets contenant les données source.
      Dans cet exemple, les buckets moviestream_gold et moviestream_landing de la banque d'objets sont sélectionnés pour la collecte.
   2. Après avoir exécuté le travail, vous voyez les entités logiques. Utilisez l'onglet Rechercher des ressources de données pour les vérifier.
      Dans cet exemple, vous examinez l'entité logique customer-extension et ses attributs.

      Si vous disposez d'un glossaire, Data Catalog recommande des catégories et des termes à associer à l'entité et à ses attributs. Cela fournit un contexte métier aux éléments. Les schémas, les tables et les colonnes sont rarement explicites.

      Dans notre exemple, nous voulons faire la distinction entre les différents types de buckets et la signification de leur contenu :

      • qu'est-ce qu'une zone de destination ?
      • quelle est la précision des données ?
      • quand ont-elles été mises à jour pour la dernière fois ?
      • quelle est la définition d'une entité logique ou de son attribut ?
5. Autonomous Database - Connexion à Data Catalog

   Connectez Autonomous Database à Data Catalog. Assurez-vous que les informations d'identification utilisées pour établir cette connexion utilisent un principal OCI autorisé à accéder à la ressource Data Catalog. Pour plus d'informations, reportez-vous à Stratégies Data Catalog et à Accès aux ressources cloud en configurant des stratégies et des rôles.

   1. Connexion à Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Synchronisez Data Catalog avec Autonomous Database. La commande suivante synchronise toutes les ressources Object Storage :

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Commencez à exécuter des requêtes sur la banque d'objets.

      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;

6. Modification des schémas des objets

   Les noms de schéma par défaut sont plutôt complexes. Vous pouvez les simplifier en indiquant la ressource et l'attribut personnalisé Oracle-Db-Schema du dossier dans Data Catalog. Affectez à la ressource de données la valeur PHX et aux dossiers la valeur landing et gold respectivement. Le schéma est une concaténation des deux.

   1. Dans Data Catalog, accédez au bucket moviestream_landing et remplacez la ressource par landing et gold, respectivement.

      Avant modification :

      Après modification :

   2. Exécutez une autre synchronisation.

Ce scénario montre comment créer des tables externes dans Autonomous Database, basées sur des entités logiques Data Catalog collectées à partir de données partitionnées dans la banque d'objets.

1. Banque d'objets - Vérification des buckets, dossiers et fichiers
   1. Vérifiez les buckets dans la banque d'objets.
      Voici, par exemple, les buckets de destination (moviestream_landing) et de zone gold (moviestream_gold) dans le stockage d'objets :
   2. Vérifiez les dossiers et les fichiers dans les buckets de la banque d'objets.
      Par exemple, voici les dossiers du bucket de renvoi (moviestream_landing) dans le stockage d'objets :
2. Data Catalog - Création de modèles de nom de fichier
   1. Informez Data Catalog de l'organisation de vos données à l'aide de modèles de nom de fichier. Il s'agit de préfixe de dossier ou d'expression régulière utilisés pour classer les fichiers. Les modèles de nom de fichier sont utilisés par le collecteur Data Catalog pour déterminer les entités logiques. Lorsqu'un préfixe de dossier est indiqué, Data Catalog génère automatiquement des entités logiques à partir du préfixe de dossier indiqué dans la banque d'objets. Le modèle de nom de fichier suivant est utilisé pour collecter les buckets dans l'exemple MovieStream. Pour plus d'informations sur la création de modèles de nom de fichier, reportez-vous à Collecte de fichiers Object Storage en tant qu'entités de données logiques.

      préfixe de dossier	Description
      workshop.db/	Crée des entités logiques pour les sources qui contiennent le chemin "workshop.db" dans la banque d'objets.

   2. Pour créer des modèles de nom de fichier, accédez à l'onglet Modèles de nom de fichier de votre catalogue de données, puis cliquez sur Créer un modèle de nom de fichier. L'exemple suivant montre l'onglet Créer un modèle de nom de fichier pour le catalogue de données moviestream :
3. Data Catalog - Création d'une ressource de données
   1. Créez une ressource de données à utiliser pour collecter des données à partir de votre banque d'objets.
      Par exemple, une ressource de données nommée amsterdamObjStore est créée dans le catalogue de données moviestream :
   2. Ajouter une connexion à votre ressource de données
      Dans cet exemple, la ressource de données se connecte au compartiment de la ressource de stockage d'objet moviestream.
   3. Maintenant, associez vos modèles de nom de fichier à votre ressource de données. Sélectionnez Affecter des modèles de nom de fichier, cochez les modèles de votre choix et cliquez sur Affecter.
      Par exemple, voici les modèles affectés à la ressource de données amsterdamObjStore :
4. Data Catalog - collecte des données à partir de la banque d'objets
   1. Collectez la ressource de données Data Catalog. Sélectionnez les buckets de banque d'objets contenant les données source.
      Dans cet exemple, les buckets moviestream_gold et moviestream_landing de la banque d'objets sont sélectionnés pour la collecte.
   2. Après avoir exécuté le travail, vous voyez les entités logiques. Utilisez l'onglet Rechercher des ressources de données pour les vérifier.
      Dans cet exemple, vous examinez l'entité logique sales_sample_parquet et ses attributs. Data Catalog a identifié l'attribut month comme partitionné.
5. Autonomous Database - Connexion à Data Catalog

   Connectez Autonomous Database à Data Catalog. Assurez-vous que les informations d'identification utilisées pour établir cette connexion utilisent un principal OCI autorisé à accéder à la ressource Data Catalog. Pour plus d'informations, reportez-vous à Stratégies Data Catalog et à Accès aux ressources cloud en configurant des stratégies et des rôles.

   1. Connexion à Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Synchronisez Data Catalog avec Autonomous Database. La commande suivante synchronise toutes les ressources Object Storage :

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Commencez à exécuter des requêtes sur la banque d'objets.

      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL

6. Modification des schémas des objets

   Les noms de schéma par défaut sont plutôt complexes. Vous pouvez les simplifier en indiquant la ressource et l'attribut personnalisé Oracle-Db-Schema du dossier dans Data Catalog. Affectez à la ressource de données la valeur PHX et aux dossiers la valeur landing et gold respectivement. Le schéma est une concaténation des deux.

   1. Dans Data Catalog, accédez au bucket moviestream_landing et remplacez la ressource par landing et gold, respectivement.

      Avant modification :

      Après modification :

   2. Exécutez une autre synchronisation.