Autonomous Databaseは、データ・カタログ・メタデータと同期することで、データ・カタログによって収集された論理エンティティごとに外部表を自動的に作成します。これらの外部表は、メタデータ同期プロセスによって完全に管理されるデータベース・スキーマで定義されます。ユーザーは、外部データ・ソースのスキーマ(列およびデータ型)を手動で導出し、外部表を手動で作成することなく、すぐにデータを問い合せることができます。

同期は動的であり、基礎となるデータの変更に関してAutonomous Databaseが最新の状態に維持され、数百から数千の表が自動的にメンテナンスされることで管理コストが削減されます。また、複数のAutonomous Databaseインスタンスで同じデータ・カタログを共有できるため、管理コストがさらに削減され、共通のビジネス定義セットが提供されます。

データ・カタログのフォルダ/バケットは、Autonomous Databaseスキーマと同期するコンテナです。これらのフォルダ/バケット内の論理エンティティは、Autonomous Databaseの外部表にマップされます。これらのスキーマおよび外部表は、同期プロセスによって自動的に生成されてメンテナンスされます:

• フォルダ/バケットは、編成上の目的のみのデータベース・スキーマにマップされます。
• 編成は、データ・レイクと一貫性を持たせ、異なるパスからデータにアクセスする際の混乱を最小限に抑えることを目的としています。
• データ・カタログは、スキーマに含まれる表の真のソースです。データ・カタログで行われた変更により、後続の同期時にスキーマの表が更新されます。

この機能を使用するには、データベースのデータ・カタログ管理者がデータ・カタログ・インスタンスへの接続を開始し、同期するデータ・アセットおよび論理エンティティを選択し、同期を実行します。同期プロセスでは、選択したデータ・カタログで収集されたデータ・アセットおよび論理エンティティに基づいて、スキーマおよび外部表が作成されます。外部表が作成されるとすぐに、データ・アナリストは外部データ・ソースのスキーマを手動で導出して外部表を作成することなく、データの問合せを開始できます。

データ・カタログを使用して問い合せるには、次の概念を理解する必要があります。

データ・カタログ

データ・カタログは、Autonomous Databaseで問い合せるデータ・ソースを指すデータ・アセットを収集します。データ・カタログから、収集時のデータの編成方法を指定し、様々なファイル編成パターンをサポートできます。データ・カタログの収集プロセスの一部として、アセット内で管理するバケットおよびファイルを選択できます。詳細は、データ・カタログの概要を参照してください。

オブジェクト・ストア

オブジェクト・ストアには、様々なオブジェクトを含むバケットがあります。これらのバケットに含まれるオブジェクトの一般的なタイプには、CSV、parquet、avro、jsonおよびORCファイルがあります。バケットには通常、含まれているオブジェクトに対する構造または設計パターンがあります。データの構造化には様々な方法があり、これらのパターンを解釈する様々な方法があります。

たとえば、一般的な設計パターンでは、表を表すトップレベル・フォルダを使用します。特定のフォルダ内のファイルは同じスキーマを共有し、その表のデータを含みます。サブフォルダは、多くの場合、表パーティション(各日のサブフォルダなど)を表現するために使用されます。データ・カタログは、各最上位フォルダを論理エンティティとして参照し、この論理エンティティはAutonomous Database外部表にマップされます。

Connection

接続とは、データ・カタログ・インスタンスへのAutonomous Database接続です。Autonomous Databaseインスタンスごとに、複数のデータ・カタログ・インスタンスへの接続が可能です。Autonomous Database資格証明には、オブジェクト・ストレージから収集されたデータ・カタログアセットにアクセスする権限が必要です。

収集

オブジェクト記憶域をスキャンし、データ・セットから論理エンティティを生成するデータ・カタログ・プロセス。

データ・アセット

データ・カタログのデータ・アセットは、データベース、Oracle Object Storage、Kafkaなどのデータ・ソースを表します。Autonomous Databaseでは、メタデータの同期にOracle Object Storageアセットを利用します。

データ・エンティティ

データ・カタログ内のデータ・エンティティとは、データベース表やビューなどのデータの集合、または単一のファイルであり、通常はそのデータを記述する多くの属性が含まれています。

論理エンティティ

データ・レイクでは、通常、多数のファイルにより単一の論理エンティティが構成されます。たとえば、日次クリックストリーム・ファイルがある場合、これらのファイルは同じスキーマおよびファイル・タイプを共有します。

データ・カタログ論理エンティティは、作成済でデータ・アセットに割り当てられたファイル名パターンを適用することで、収集中に導出されるオブジェクト・ストレージ・ファイルのグループです。

データ・オブジェクト

データ・カタログのデータ・オブジェクトは、データ・アセットおよびデータ・エンティティを表します。

ファイル名パターン

データ・レイクでは、データを様々な方法で編成できます。通常、フォルダはスキーマおよびタイプが同じファイルを取得します。データ・カタログにデータの編成方法を登録する必要があります。ファイル名パターンは、データの編成方法を識別するために使用されます。データ・カタログでは、正規表現を使用してファイル名パターンを定義できます。データ・カタログが、ファイル名パターンが割り当てられたデータ・アセットを収集すると、ファイル名パターンに基づいて論理エンティティが作成されます。これらのパターンを定義してデータ・アセットに割り当てることで、ファイル名パターンに基づいて複数のファイルを論理エンティティとしてグループ化できます。

同期

Autonomous Databaseは、データ・カタログとの同期を実行して、基礎となるデータの変更に関してデータベースを自動的に最新にします。同期は手動で、またはスケジュールに従って実行できます。

同期プロセスでは、データ・カタログのデータ・アセットおよび論理エンティティに基づいてスキーマおよび外部表が作成されます。これらのスキーマは保護されているため、メタデータはデータ・カタログによって管理されます。メタデータを変更する場合は、データ・カタログで変更する必要があります。次の同期の実行後に、Autonomous Databaseスキーマに変更が反映されます。詳細は、同期マッピングを参照してください。

同期プロセスでは、データ・カタログ・データ・アセット、フォルダ、論理エンティティ、属性および関連するカスタム・オーバーライドに基づいて、Autonomous Databaseスキーマおよび外部表を作成および更新します。

データ・カタログを使用して問い合せるユーザーが実行するアクションの一般的なワークフローがあります。

select * from all_dcat_connections;

このシナリオでは、Moviestreamはオブジェクト・ストレージ上のランディング・ゾーンのデータを取得しています。このデータの多くは、必ずしもすべてではありませんが、Autonomous Databaseのフィードに使用されます。Autonomous Databaseにフィードする前に、データは変換、クレンジングされ、その後「ゴールド」領域に格納されます。

1. オブジェクト・ストア- バケット、フォルダおよびファイルの確認
   1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットおよびゴールド・ゾーン(moviestream_gold)バケットを次に示します:
      
   2. オブジェクト・ストア・バケット内のフォルダおよびファイルを確認します。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します:
      
2. データ・カタログ - ファイル名パターンを作成します
   1. Inform Data Catalog how your data is organized using filename patterns.これらは、ファイルの分類に使用される正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。MovieStreamの例では、次の2つのファイル名パターンを使用してバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてオブジェクト・ストレージ・ファイルを収集するを参照してください。

      Hiveスタイル	フォルダスタイル
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*	{bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      オブジェクト名の最初の部分として".db"を含むソースの論理エンティティを作成します。 バケット内で一意性を確保するために、結果の名前は(db名).(フォルダ名)となります	ルート外のフォルダ名に基づいて論理エンティティを作成します Hiveとの重複を防ぐために、".db"が含まれているオブジェクト名はスキップされます。

   2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します:
      
      
3. データ・カタログ - データ・アセットの作成
   1. オブジェクト・ストアからデータを収集するために使用されるデータ・アセットを作成します。
      たとえば、phoenixObjStoreという名前のデータ・アセットは、moviestreamデータ・カタログに作成されます:
      
   2. データ・アセットへの接続を追加します。
      この例では、データ・アセットはmoviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。
      
   3. ここで、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、必要なパターンを確認して「割当て」をクリックします。
      たとえば、phoenixObjStoreデータ・アセットに割り当てられたパターンを次に示します:
      
4. データ・カタログ - オブジェクト・ストアからデータを収集します
   1. データ・カタログ・データ・アセットを収集します。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。
      
   2. ジョブの実行後、論理エンティティが表示されます。データ・アセットの参照を使用して、それらを確認します。
      この例では、customer-extension論理エンティティとその属性を確認します。
      

      用語集がある場合、データ・カタログでは、エンティティとその属性に関連付けるカテゴリと用語が推奨されます。これにより、アイテムのビジネス・コンテキストが提供されます。スキーマ、表および列は、多くの場合、わかりやすいものではありません。

      この例では、様々なタイプのバケットとそのコンテンツの意味を区別します:

      • ランディング・ゾーンとは何ですか。
      • データはどの程度正確ですか。
      • 最終更新日はいつですか。
      • 論理エンティティまたはその属性の定義は何ですか
5. Autonomous Database - データ・カタログへの接続

   Autonomous Databaseをデータ・カタログに接続する。その接続に使用される資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

   1. データ・カタログへの接続

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Now start running queries against object store.

      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;

6. オブジェクトのスキーマの変更

   デフォルトのスキーマ名はかなり複雑です。データ・カタログにアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定して、それらを簡素化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマはその2つの連結です。

   1. 「データ・カタログ」から、moviestream_landingバケットに移動し、アセットをlandingおよびgoldにそれぞれ変更します。

      変更前:

      
      

      変更後:

      
      
   2. 別の同期を実行します。

このシナリオは、Autonomous Databaseで、オブジェクト・ストアのパーティション化されたデータから収集されたデータ・カタログ論理エンティティに基づく外部表を作成する方法を示します。

1. オブジェクト・ストア- バケット、フォルダおよびファイルの確認
   1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットおよびゴールド・ゾーン(moviestream_gold)バケットを次に示します:
      
   2. オブジェクト・ストア・バケット内のフォルダおよびファイルを確認します。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します:
      
2. データ・カタログ - ファイル名パターンを作成します
   1. Inform Data Catalog how your data is organized using filename patterns.これらは、ファイルの分類に使用されるフォルダ接頭辞または正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。フォルダ接頭辞が指定されると、データ・カタログによって、オブジェクト・ストア内の指定されたフォルダ接頭辞から論理エンティティが自動的に生成されます。MovieStreamの例では、次のファイル名パターンを使用してバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてオブジェクト・ストレージ・ファイルを収集するを参照してください。

      フォルダ接頭辞	説明
      workshop.db/	オブジェクト・ストアにworkshop.dbパスを含むソースの論理エンティティを作成します。

   2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します:
      
      
3. データ・カタログ - データ・アセットの作成
   1. オブジェクト・ストアからデータを収集するために使用されるデータ・アセットを作成します。
      たとえば、amsterdamObjStoreという名前のデータ・アセットは、moviestreamデータ・カタログに作成されます:
      
   2. データ・アセットへの接続を追加します。
      この例では、データ・アセットはmoviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。
      
   3. ここで、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、必要なパターンを確認して「割当て」をクリックします。
      たとえば、amsterdamObjStoreデータ・アセットに割り当てられたパターンを次に示します:
      
4. データ・カタログ - オブジェクト・ストアからデータを収集します
   1. データ・カタログ・データ・アセットを収集します。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。
      
   2. ジョブの実行後、論理エンティティが表示されます。データ・アセットの参照を使用して、それらを確認します。
      この例では、sales_sample_parquet論理エンティティとその属性を確認します。データ・カタログでは、month属性はパーティション化済として識別されていることに注意してください。
      
5. Autonomous Database - データ・カタログへの接続

   Autonomous Databaseをデータ・カタログに接続する。その接続に使用される資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

   1. データ・カタログへの接続

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Now start running queries against object store.

      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL

6. オブジェクトのスキーマの変更

   デフォルトのスキーマ名はかなり複雑です。データ・カタログにアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定して、それらを簡素化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマはその2つの連結です。

   1. 「データ・カタログ」から、moviestream_landingバケットに移動し、アセットをlandingおよびgoldにそれぞれ変更します。

      変更前:

      
      

      変更後:

      
      
   2. 別の同期を実行します。