機械翻訳について

DBMS_DCATパッケージ

DBMS_DCATパッケージには、Autonomous DatabaseユーザーがOCI 「データ・カタログ」のデータ検出および一元化されたメタデータ管理システムを活用するための関数とプロシージャが用意されています。

「データ・カタログ」は、データ・レイクのオブジェクト・ストレージ・アセットからメタデータを収集します。 収集プロセスでは、論理エンティティが作成されます。論理エンティティは、列と関連付けられたデータ型を持つ表とみなすことができます。 DBMS_DCATプロシージャおよび関数は、Autonomous Databaseを「データ・カタログ」に接続し、アセットをデータベースと同期して、保護されたスキーマおよび外部表を作成します。 その後、これらの外部表を使用してオブジェクト・ストアを問い合せると、外部データをAutonomous Databaseに格納されているデータと簡単に結合できます。 これにより、管理プロセスが大幅に簡素化されます。集中管理された単一のメタデータ・ストアがあり、複数のOCIサービス(Autonomous Databasesを含む)で共有されます。 また、SQLを使用して「データ・カタログ」の内容を検査し、これらの「データ・カタログ」エンティティがAutonomous Databaseスキーマおよび表にどのようにマップされるかを示すAutonomous Databaseディクショナリ・ビューもあります。

  • データ・カタログのユーザーおよびロール
    DBMS_DCATパッケージでは、同期されたユーザー/スキーマ、dcat_adminユーザーおよびローカル・ユーザーがサポートされます。     このパッケージを使用できるようにするには、ユーザーにdcat_syncロールが必要です。
  • 必要な資格証明およびIAMポリシー
    このトピックでは、Autonomous Databaseユーザーにデータ・カタログの管理およびオブジェクト・ストレージからの読取り権限を付与するために必要なOracle Cloud Infrastructure Identity and Access Management (IAM)ユーザー資格証明およびポリシーについて説明します。
  • 接続管理サブプログラムのサマリー
    この表は、「データ・カタログ」接続の作成、問合せおよび削除に使用されるDBMS_DCATパッケージ・プロシージャを示しています。
  • 同期サブプログラムの要約
    同期の実行、同期ジョブの作成と削除、および同期されたスキーマの削除は、次の表に示すプロシージャで実行できます。
  • データ・カタログ・ビューのサマリー
    「データ・カタログ」とAutonomous Databaseの統合により、多数の表およびビューが提供されます。

親トピック: Autonomous Database提供されているパッケージ参照

「データ・カタログ」ユーザーおよびロール

DBMS_DCATパッケージでは、同期されたユーザー/スキーマ、dcat_adminユーザーおよびローカル・ユーザーがサポートされます。 このパッケージを使用できるようにするには、ユーザーにdcat_syncロールが必要です。

「データ・カタログ」ユーザー

  • 同期化されたユーザー/スキーマ

    同期された外部表は、データ・アセット/バケットの組合せに対応するデータベース・スキーマ、またはユーザーによって設定されたカスタム・プロパティに従って編成されます。 同期されたスキーマは、「データ・カタログ」同期中に自動的に作成/削除されます。 CREATE SESSION権限のない認証ユーザーとして作成されます。 同期されたスキーマも保護句を使用して作成されるため、ローカル・ユーザー(PDB管理者でも)で変更できず、同期を介してのみ変更できます。

  • ユーザーdcat_admin

    ユーザーdcat_adminは、同期を実行し、同期された表に対するREAD権限を他のユーザーまたはロールに付与できるローカル・データベース・ユーザーです。 ユーザーは、CREATE SESSION権限のない認証ユーザーとして作成されます。

  • ローカル・ユーザー

    外部表を問い合せるデータベース・ユーザーには、ユーザーdcat_adminまたはADMINによって、同期された外部表に対するREAD権限が明示的に付与されている必要があります。 デフォルトでは、同期の完了後、ユーザーdcat_adminおよびADMINのみが同期外部表にアクセスできます。

「データ・カタログ」ロール

  • dcat_sync

    dcat_syncロールには、DBMS_DCATパッケージを使用するために必要なすべての権限があります。 APIを使用して「データ・カタログ」をナビゲートし、同期を実行するには、ユーザーにこのロールが必要です。

親トピック: DBMS_DCATパッケージ

必要な資格証明とIAMポリシー

このトピックでは、Autonomous Databaseユーザーにデータ・カタログの管理およびオブジェクト・ストレージからの読取り権限を付与するために必要なOracle Cloud Infrastructure Identity and Access Management (IAM)ユーザー資格証明およびポリシーについて説明します。

OCI 「データ・カタログ」資格証明およびポリシーの要件:

AWS Glueデータ・カタログ資格証明およびポリシー要件

Autonomous DatabaseユーザーにAmazon Web Services (AWS) Glueデータ・カタログへのアクセスおよびS3オブジェクト・ストレージからの読取り権限を付与するには、次のユーザー資格証明およびポリシーが必要です:
  • AWS Glueデータ・カタログにアクセスする権限を持つ資格証明オブジェクトが必要です。 資格証明の管理の詳細は、「アクセス管理のためのDBMS_CLOUD」を参照してください。

    AWS Glueデータ・カタログにアクセスするには、次の権限が必要です : glue:GetDatabases、glue:GetTables、およびglue:GetTable。

    また、基礎となるS3オブジェクトを指す解決可能https urlを生成するために、同期中に権限S3:GetBucketLocationが必要です。
  • Autonomous Databaseがデータ・ファイルを問い合せることができるように、S3に格納されているファイルにアクセスする権限を持つ資格証明オブジェクトが必要です。
  • AWS資格証明がサポートされています。 AWS Amazon Resource Names (ARN)の資格証明はサポートされていません。

例: OCIネイティブ認証資格証明オブジェクトの作成

この例では、データ・カタログまたはオブジェクト・ストア資格証明オブジェクトの作成時に使用できるOCIネイティブ認証資格証明を作成します。 詳細は、それぞれ「DBMS_DCAT SET_DATA_CATALOG_CREDENTIALプロシージャ」および「DBMS_DCAT SET_OBJECT_STORE_CREDENTIALプロシージャ」を参照してください。

OCIネイティブ認証では、DBMS_CLOUD.CREATE_CREDENTIALプロシージャにこれらのパラメータが含まれます: credential_name, user_ocid, tenancy_ocid, private_keyおよびfingerprint。 このプロシージャの詳細は、「DBMS_CLOUD CREATE_CREDENTIALプロシージャ」を参照してください。

credential_nameは、資格証明オブジェクトの名前です。 user_ocidおよびtenancy_ocidパラメータは、それぞれユーザーおよびテナンシのOCIDsに対応します。

private_keyパラメータは、生成された秘密キーをPEM形式で指定します。 パスフレーズ付きで作成された秘密キーはサポートされていません。 したがって、パスフレーズのないキーを生成する必要があります。 パスフレーズなしで秘密キーを作成する方法の詳細は、「API署名キーを生成する方法」を参照してください。 また、このパラメータに指定する秘密キーには、ヘッダーまたはフッターなしでキー自体のみを含める必要があります(例'-----BEGIN RSA PRIVATE KEY-----', '-----END RSA PRIVATE KEY-----')。

fingerprintパラメータは、公開キーをコンソールにアップロードした後、またはOpenSSLコマンドを使用して取得されるフィンガープリントを指定します。 フィンガープリントの取得の詳細は、「公開キーのアップロード方法」および「キー・フィンガープリントの取得方法」を参照してください。

必要な情報がすべて収集され、秘密キーが生成されると、次のCREATE_CREDENTIALプロシージャを実行する準備が整います: 

BEGIN
  DBMS_CLOUD.CREATE_CREDENTIAL (
    credential_name => 'OCI_NATIVE_CRED',
    user_ocid              => 'ocid1.user.oc1..aaaaaaaatfn77fe3fxux3o5lego7glqjejrzjsqsrs64f4jsjrhbsk5qzndq',
    tenancy_ocid           => 'ocid1.tenancy.oc1..aaaaaaaapwkfqz3upqklvmelbm3j77nn3y7uqmlsod75rea5zmtmbl574ve6a',
    private_key            => 'MIIEogIBAAKCAQEA...t9SH7Zx7a5iV7QZJS5WeFLMUEv+YbYAjnXK+dOnPQtkhOblQwCEY3Hsblj7Xz7o=',
    fingerprint            => '4f:0c:d6:b7:f2:43:3c:08:df:62:e3:b2:27:2e:3c:7a');
END;
/
資格証明オブジェクトを作成すると、dba_credentials表に表示されます:
SELECT owner, credential_name
FROM dba_credentials 
WHERE credential_name LIKE '%NATIVE%';

OWNER CREDENTIAL_NAME
----- ---------------
ADMIN OCI_NATIVE_CRED

例: Autonomous Databaseリソース・プリンシパルの使用

この例では、適切なリソース・メンバーを含む動的グループが作成され、動的グループに「データ・カタログ」を管理する権限が付与され、動的グループにオブジェクト・ストレージからの読取り権限が付与されます。

  1. adb-grp-1という名前の動的グループを作成します。 OCIDがocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfeのリソース・メンバーであるAutonomous Databaseインスタンスを含むadb-grp-1に一致するルールを追加します。

    動的グループ一致ルール:

    resource.id = 'ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe'

  2. mycompartmentコンパートメントの「データ・カタログ」インスタンスに対する完全なアクセス権をadb-grp-1動的グループに付与するポリシーを定義します。 

    allow dynamic-group adb-grp-1 to manage data-catalog-family in compartment mycompartment
  3. adb-grp-1 動的グループがmycompartmentという名前のコンパートメント内のバケットを読み取ることを許可するポリシーを定義します。
    allow dynamic-group adb-grp-1 to read objects in compartment mycompartment

例: ユーザー・プリンシパルの使用

この例では、user1はグループadb-adminsのメンバーです。 このグループのすべてのメンバーには、mycompartment内のすべてのデータ・カタログを管理し、mycompartmentのオブジェクト・ストアから読み取る権限が付与されます。

  1. adb-adminsのメンバーであるユーザーに、mycompartment内のすべてのデータ・カタログの管理を許可します。
    allow group adb-admins to manage data-catalog-family in compartment mycompartment
  2. adb-adminsのメンバーであるユーザーが、mycompartment内の任意のバケット内の任意のオブジェクトを読み取ることができます。
    allow group adb-admins to read objects in compartment mycompartment

親トピック: DBMS_DCATパッケージ

接続管理サブプログラムのサマリー

この表は、「データ・カタログ」接続の作成、問合せおよび削除に使用されるDBMS_DCATパッケージ・プロシージャを示しています。

サブプログラム 説明
SET_DATA_CATALOG_CONNプロシージャ 指定されたデータ・カタログへの接続を作成
SET_DATA_CATALOG_CREDENTIALプロシージャ データ・カタログへの特定の接続で使用されるデータ・カタログ・アクセス資格証明を設定
SET_OBJECT_STORE_CREDENTIALプロシージャ オブジェクト・ストアにアクセスするために指定された一意の接続識別子によって使用される資格証明を設定
UNSET_DATA_CATALOG_CONNプロシージャ 既存の「データ・カタログ」接続の削除
  • SET_DATA_CATALOG_CREDENTIALプロシージャ
    このプロシージャは、「データ・カタログ」への特定の接続で使用される「データ・カタログ」アクセス資格証明を設定します。
  • SET_OBJECT_STORE_CREDENTIALプロシージャ
    このプロシージャは、オブジェクト・ストアにアクセスするために指定された一意の接続識別子によって使用される資格証明を設定します。     オブジェクト・ストア・アクセス資格証明を変更すると、既存のすべての同期表が新しい資格証明を使用するように変更されます。
  • SET_DATA_CATALOG_CONNプロシージャ
    このプロシージャは、指定された「データ・カタログ」への接続を作成します。     メタデータを「データ・カタログ」と同期するには、接続が必要です。 Autonomous Databaseインスタンスは、複数の「データ・カタログ」インスタンスに接続でき、OCI 「データ・カタログ」およびAWS Glue 「データ・カタログ」への接続をサポートします。
  • UNSET_DATA_CATALOG_CONNプロシージャ
    このプロシージャは、既存の「データ・カタログ」接続を削除します。

親トピック: DBMS_DCATパッケージ

SET_DATA_CATALOG_CREDENTIALプロシージャ

このプロシージャは、「データ・カタログ」への特定の接続で使用される「データ・カタログ」アクセス資格証明を設定します。

構文

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

パラメータ

パラメータ 説明

credential_name

(オプション) 「データ・カタログ」へのアクセスに使用される資格証明。

dcat_con_id 一意の「データ・カタログ」接続識別子。 この資格証明は、dcat_con_idで識別される接続に使用されます。 デフォルトはNullです。

使用方法

この資格証明には、「データ・カタログ」の管理権限が必要です。「データ・カタログ・ポリシー」を参照してください。 デフォルトはリソース・プリンシパルです。「ポリシーおよびロールの構成によるクラウド・リソースへのアクセス」を参照してください。

親トピック: 接続管理サブプログラムのサマリー

SET_OBJECT_STORE_CREDENTIALプロシージャ

このプロシージャは、オブジェクト・ストアにアクセスするために指定された一意の接続識別子によって使用される資格証明を設定します。 オブジェクト・ストア・アクセス資格証明を変更すると、既存のすべての同期表が新しい資格証明を使用するように変更されます。

構文

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

パラメータ

パラメータ 説明

credential_name

オブジェクト・ストアにアクセスするために外部表で使用される資格証明。
dcat_con_id 一意の「データ・カタログ」接続識別子。 デフォルトはNULLです。

親トピック: 接続管理サブプログラムのサマリー

SET_DATA_CATALOG_CONNプロシージャ

このプロシージャは、指定された「データ・カタログ」への接続を作成します。 メタデータを「データ・カタログ」と同期するには、接続が必要です。 Autonomous Databaseインスタンスは、複数の「データ・カタログ」インスタンスに接続でき、OCI 「データ・カタログ」およびAWS Glue 「データ・カタログ」への接続をサポートします。

構文

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region       VARCHAR2 DEFAULT NULL,
   endpoint     VARCHAR2 DEFAULT NULL,
   catalog_id   VARCHAR2 DEFAULT NULL,
   dcat_con_id  VARCHAR2 DEFAULT NULL,
   catalog_type VARCHAR2 DEFAULT NULL
 );

パラメータ

パラメータ 説明

region

「データ・カタログ」リージョン。 endpointが指定されている場合、regionはオプションです。 endpointとregionの両方が指定されている場合は、endpointが優先されます。 デフォルトはNULLです。

endpoint

「データ・カタログ」エンドポイント。 regionが指定されている場合、endpointはオプションです。 endpointとregionの両方が指定されている場合は、endpointが優先されます。 デフォルトはNULLです。

catalog_id

「データ・カタログ」インスタンスの一意のOracle Cloud識別子(OCID)。 AWS Glue 「データ・カタログ」に接続する場合、catalog_idはオプションです。

dcat_con_id 一意の「データ・カタログ」接続識別子。 この識別子は、複数の「データ・カタログ」に接続する場合に必要であり、1つのみに接続する場合はオプションです。 これは、後続のコールまたはビューの問合せ時に「データ・カタログ」接続を参照するために使用されます。 識別子が指定されていない場合、このプロシージャはNULL接続識別子を生成します。 dcat_con_idには、次の制限が適用されます:
  • Autonomous Databaseインスタンス内で一意である必要があります。
  • 文字で始める必要があります。
  • 英数字、アンダースコア(_)、ドル記号($)およびシャープ記号(#)を使用できます。
  • 少なくとも16文字の長さである必要があります。
catalog_type 接続するデータ・カタログのタイプ。 指定できる値は次のとおりです。
  • OCI_DCAT - OCI 「データ・カタログ」
  • AWS_GLUE - AWS Glue「データ・カタログ」
  • NULL - カタログ・タイプは、指定されたリージョンまたはエンドポイントから自動的に検出されます。

使用方法

接続を設定するには、この手順を1回だけ呼び出す必要があります。 接続プロセスの一部として、Autonomous Databaseはカスタム・プロパティを「データ・カタログ」に追加します。 これらのカスタム・プロパティは、「データ・カタログ」ユーザーがアクセスでき、デフォルト名(スキーマ、表および列)および列データ型をオーバーライドできます。

接続を作成する前に、資格証明を作成して設定する必要があります。 接続プロセスの説明は、OCI 「データ・カタログ」の場合は「データ・カタログのある一般的なワークフロー」、AWS Glue 「データ・カタログ」の場合は「AWS Glueデータ・カタログを使用した問合せのユーザー・ワークフロー」を参照してください。

例: 既知のOCIDを使用した接続

この例では、Autonomous Databaseはuk-london-1リージョンの「データ・カタログ」に接続しています。 catalog_idパラメータは、「データ・カタログ」インスタンスのOracle Cloud識別子(ocid)を使用します。 「データ・カタログ」のタイプは自動的に決定されます: AWS Glue 「データ・カタログ」またはOCI 「データ・カタログ」。 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_id=>'ocid1.datacatalog.oc1.uk-london-1...');
END;
/

例: AWS Glueへの接続「データ・カタログ」

接続とは、Autonomous DatabaseインスタンスとAWS Glue 「データ・カタログ」との関連付けです。 接続に成功すると、Autonomous DatabaseインスタンスはAWS Glueと同期できるようになります。 各AWSアカウントには、リージョンごとに1つのAWS Glueデータ・カタログがあり、各カタログには、各リージョンに対応するサービス・エンドポイントを使用してアクセスできます。 Autonomous DatabaseインスタンスをAWS Glueデータ・カタログに関連付けるには、API DBMS_DCAT.SET_DATA_CATALOG_CONNを起動し、カタログが存在するリージョンのエンドポイントを指定します。

「AWS Glueエンドポイントおよび割当て」を参照してください。

この例では、Autonomous Databaseがuk-london-1リージョンのAWS Glue 「データ・カタログ」に接続しています。 これはAWS Glue 「データ・カタログ」接続であるため、catalog_idパラメータは必要ありません。 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_type=>'AWS_GLUE'
END;
/

親トピック: 接続管理サブプログラムのサマリー

UNSET_DATA_CATALOG_CONNプロシージャ

このプロシージャは、既存の「データ・カタログ」接続を削除します。

構文

ノート:

このプロシージャを起動すると、以前の同期の一部として作成されたすべての保護されたスキーマおよび外部表が削除されます。 「データ・カタログ」のメタデータには影響しません。 
PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

パラメータ

パラメータ 説明
dcat_con_id 一意の「データ・カタログ」接続識別子。 デフォルトはNullです。

親トピック: 接続管理サブプログラムのサマリー

同期サブプログラムの要約

同期の実行、同期ジョブの作成と削除、および同期されたスキーマの削除は、次の表に示すプロシージャで実行できます。

ノート:

2022年4月4日に、sync_optionおよびgrant_readパラメータがDBMS_DCAT.RUN_SYNCプロシージャに追加されました。 その日付より前に作成されたスケジュールされた同期ジョブのパフォーマンスを確実にするには、スケジュールされた同期ジョブを削除して再作成する必要があります。 「DBMS_DCAT.DROP _SYNC_JOBプロシージャ」と「DBMS_DCAT.CREATE _SYNC_JOBプロシージャ」を参照してください。
サブプログラム 説明
CREATE_SYNC_JOBプロシージャ RUN_SYNCを定期的に起動するスケジューラ・ジョブを作成
DROP_SYNC_JOBプロシージャ 指定された一意の接続識別子の既存の同期ジョブを削除
DROP_SYNCED_SCHEMASプロシージャ 指定された一意の接続識別子に対して、以前に同期されたすべてのスキーマを削除
RUN_SYNCプロシージャ 同期操作の実行
  • RUN_SYNCプロシージャ
    このプロシージャは同期操作を実行し、同期のエントリ・ポイントです。     入力として、選択したデータ・カタログ・アセット、フォルダおよびエンティティのリストを取得し、外部表の作成、削除および変更によってそれらを実体化します。
  • CREATE_SYNC_JOBプロシージャ
    このプロシージャは、RUN_SYNCを定期的に起動するスケジューラ・ジョブを作成します。
  • DROP_SYNC_JOBプロシージャ
    このプロシージャは、指定された一意の接続識別子の既存の同期ジョブを削除します。
  • DROP_SYNCED_SCHEMASプロシージャ
    このプロシージャは、指定された一意の接続識別子について、以前に同期されたすべてのスキーマを削除します。

親トピック: DBMS_DCATパッケージ

RUN_SYNCプロシージャ

この手順では、同期操作が実行され、同期のエントリ・ポイントになります。 入力として、選択したデータ・カタログ・アセット、フォルダおよびエンティティのリストを取得し、外部表の作成、削除および変更によってそれらを実体化します。

sync_optionパラメータは、RUN_SYNCプロシージャが実行する操作を指定: SYNC、DELETEまたはREPLACE。 この操作は、synced_objectsパラメータの範囲内のエンティティに対して実行されます。

RUN_SYNCプロシージャへのすべてのコールは、USER_LOAD_OPERATIONSビューを問い合せて同期のステータスおよび対応するlog_tableに関する情報を取得するために使用できる一意のoperation_idを返します。 DBMS_DCAT$SYNC_LOGビューを問い合せると、現在のユーザーが実行した最後の同期操作のlog_tableに簡単にアクセスできます。 詳細については、「DBMS_DCAT$SYNC_LOGビュー」および「負荷のモニタリングとトラブルシューティング」を参照してください。

ノート:

2022年4月4日に、sync_optionおよびgrant_readパラメータがRUN_SYNCプロシージャに追加されました。 その日付より前に作成されたスケジュールされた同期ジョブのパフォーマンスを確実にするには、スケジュールされた同期ジョブを削除して再作成する必要があります。 「DBMS_DCAT.DROP _SYNC_JOBプロシージャ」と「DBMS_DCAT.CREATE _SYNC_JOBプロシージャ」を参照してください。

パーティション化された論理エンティティまたはGlueの表の同期

RUN_SYNCプロシージャは、次の3つすべてが適用される場合に、論理エンティティまたはGlue表ごとにパーティション化された外部表を作成します:

  1. OCIデータ・カタログの論理エンティティまたはGlue表には、1つ以上のパーティション化された属性があります。
  2. OCIデータ・カタログの場合、論理エンティティはプレフィクス・ベースのファイル名パターンから導出されます。 regexベースのパターンから導出されたパーティション化された論理エンティティはサポートされていません。
  3. OCIデータ・カタログの場合、論理エンティティは、ハイブ形式または非ハイブ形式のフォルダ・フォーマットに従ったパーティション化されたデータに基づきます。 オブジェクト名を使用した非ハイブ・スタイル形式に従ったパーティション・データに基づく論理エンティティはサポートされていません。

    • 例1. プレフィクス・ベースのファイル名パターンを持つHiveスタイルのパーティション化形式に従った、収集されたオブジェクトに基づく論理エンティティ。

      次のオブジェクトを考慮してください:
      Bucket: MYBUCKET
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales1.csv
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales2.csv
cluster1/db1.db/sales/country=USA/year=2020/month=02/sales1.csv

      開始フォルダ・プレフィクスがcluster1/db1.dbのファイル名パターンを使用してバケットを収集すると、3つのパーティション属性を持つSALESという名前の論理エンティティが生成されます: country、year、およびmonthを含む。 パーティション化された属性のタイプはPartitionで、非パーティション属性のタイプはPrimitiveです。

    • 例2。 プレフィクス・ベースのファイル名パターンを持つnon-Hiveスタイルのパーティション化形式に従った、収集されたオブジェクトに基づく論理エンティティ。
      次のオブジェクトを考慮してください:
      Bucket: MYBUCKET
cluster2/db2.db/sales/USA/2020/01/sales1.csv
cluster2/db2.db/sales/USA/2020/01/sales2.csv
cluster2/db2.db/sales/USA/2020/02/sales1.csv

      開始フォルダ・プレフィクスがcluster2/db2.dbのファイル名パターンを使用してバケットを収集すると、3つのパーティション属性を持つSALESという名前の論理エンティティが生成されます: name0、name1およびname2。 生成された論理エンティティと例1との唯一の違いは、パーティション化された属性の名前は自動生成され、例1ではURL (それぞれcountry、yearおよびmonth)から抽出されることです。

パーティション化された論理エンティティの同期の完全なエンド・ツー・エンドの例は、「例: パーティション化されたデータのシナリオ」を参照してください。

パーティション化された論理エンティティ/Glue表の増分同期

RUN_SYNCプロシージャへのすべてのコールで、データベースと同期するOCIデータ・カタログ論理エンティティまたは「AWS Glue」表のセットを指定します。 論理エンティティまたはGlue表が2つのRUN_SYNCコールに存在する場合、2番目のコールは既存の外部表を保持し、場合によっては変更します。 次の表は、論理エンティティまたは接着表がパーティション化されるときにサポートされる論理エンティティまたは接着表の変更を示しています:

論理エンティティまたは接着表の変更 アクション

パーティションの追加、削除、または更新

データ・カタログによって変更が検出されたかどうかに関係なく、外部パーティション表のすべてのパーティションが更新されます。
パーティション化された属性の追加

外部パーティション表にパーティション列を追加することはサポートされていません。 例外が発生します。

パーティション属性の削除

外部パーティション表からのパーティション列の削除はサポートされていません。 例外が発生します。

パーティション属性の名前変更

外部パーティション表でパーティション列の名前を変更することはサポートされていません。 例外が発生します。

構文

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

パラメータ

パラメータ 説明

synced_objects

このパラメータは、同期するデータ・カタログ・オブジェクトを指定するJSONドキュメントです。

OCIデータ・カタログの場合、JSONドキュメントでは、複数の粒度のエンティティのセットを指定: データ・アセット、フォルダ(オブジェクト・ストア・バケット)または論理エンティティ。 これには、アセット・オブジェクトの配列であるasset_list、またはカタログ内のすべての(オブジェクト・ストア)データ・アセットを同期する単一の*文字列を含む配列が含まれます。

AWS Glueデータ・カタログの場合、JSONドキュメントでは、複数の粒度の表のリストを指定: databases, tables. このドキュメントでは、データベースのリストを指定します。 ユーザーは、データベース内の個々の表を指定することで、同期する表のセットを制限できます。

sync_option (オプション)次の3つのオプションがあります:
  • SYNC (Default) - このオプションにより、synced_objectsスコープを超えるデータ・カタログの内容がAutonomous Databaseで表されます。 論理エンティティまたはGlue表がデータ・カタログから削除された場合は、最後の同期操作以降、Autonomous Databaseで削除されます。 次の操作はsynced_objectsスコープで実行されます:
    • 新しいデータ・カタログ・エンティティの表を追加
    • 削除されたデータ・カタログ・エンティティの表を削除
    • 既存の表のプロパティ(名前、列、データ型など)を更新
  • DELETE - synced_objectsスコープ内の表を削除します。
  • REPLACE - 現在同期しているすべてのオブジェクトを、synced_objectsスコープ内のオブジェクトで置き換えます。

error_semantics

(オプション)このパラメータはエラー動作を指定します。 SKIP_ERRORSに設定すると、個々のエンティティでエラーが発生しても同期は続行されます。 STOP_ON_ERRORに設定すると、最初に検出されたエラーでプロシージャが失敗します。 デフォルトはSKIP_ERRORSです。

log_level

 (オプション)このパラメータは、ロギング詳細のレベルを上げる次の値を指定: (OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL). デフォルトはINFOです。
grant_read (オプション)このパラメータは、RUN_SYNCの呼出しによって処理されたすべての外部表に対するREAD権限が自動的に付与されるユーザー/ロールのリストです。 grant_readリスト内のすべてのユーザー/ロールには、synced_objectsパラメータで指定されたエンティティに対応するすべての新規または既存の外部表に対するREAD権限が付与されます。 RUN_SYNCプロシージャでは、同期された外部表に対する権限がすでに付与されています。

operation_id

(オプション)このパラメータは、同期のUSER_LOAD_OPERATIONS内の対応するエントリを検索し、ログ表の名前を決定するために使用されます。

ノート: operation_idを返さないバージョンのRUN_SYNCを使用できるため、ユーザーはUSER_LOAD_OPERATIONSに対して最新の同期を問い合せることができます。

dcat_con_id このパラメータは、データ・カタログへの接続の作成時に指定された一意のデータ・カタログ接続識別子です。 「DBMS_DCAT SET_DATA_CATALOG_CONNプロシージャ」を参照してください。 このパラメータは、同期に使用される接続を識別し、導出されたスキーマ名の一部になります。 スキーマ名の導出方法の詳細は、「同期マッピング」を参照してください。 パラメータのデフォルトはNULLです。

例: すべてのOCI 「データ・カタログ」エンティティの同期

次の例では、すべての「データ・カタログ」エンティティが同期されています。 

EXEC DBMS_DCAT.RUN_SYNC(synced_objects=>'{"asset_list":["*"]}');

例: synced_objectsすべてのOCI データ・カタログデータ・アセットを同期するためのパラメータ

次に、「データ・カタログ」内のすべての(オブジェクト・ストレージ)データ・アセットを同期するためのsynced_objectsパラメータの例を示します。 

{"asset_list" : ["*"]}

例: synced_objects特定のOCI データ・カタログデータ・アセットを同期するためのパラメータ

次に、2つのデータ・アセットを同期するためのsynced_objectsパラメータの例を示します。 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f"
        },
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f74523"
        }
    ]}

例: synced_objectsデータ・アセット内の特定のOCI データ・カタログエンティティを同期するためのパラメータ

次に、データ・アセット内の2つのエンティティを同期するためのsynced_objectsパラメータの例を示します。 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "folder_list":[
                "f1",         
                "f2" 
           ]
        }   
    ]}

例: synced_objectsデータ・アセット内の特定のOCI データ・カタログフォルダおよびエンティティを同期するためのパラメータ

次に、データ・アセット内の2つのフォルダと2つのエンティティを同期するためのsynced_objectsパラメータの例を示します。 

{"asset_list":[
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "entity_list": [
                "entity1",     
                "entity2"
            ],
             "folder_list": [
                "f1",         
                "f2"
            ]
        }   
    ]}

例: synced_objectsすべてのAWS Glueデータ・カタログ・データベースを同期するためのパラメータ

次に、AWS Glueデータ・カタログ内のすべてのデータベースを同期するためのsynced_objectsパラメータの例を示します。 

{"database_list":["*"]}

例: synced_objects 2つのAWS Glueデータ・カタログ・データベースを同期するためのパラメータ

次に、2つのAWS Glueデータ・カタログ・データベースを同期するためのsynced_objectsパラメータの例を示します。 

{"database_list":[
    {"database":"tpcdscsv"},
    {"database":"tpcdsparquet"} ]}

例: synced_objects 3つのAWS Glueデータ・カタログ・データベースを同期するためのパラメータ

次に、AWS Glueデータ・カタログ・データベースから3つの表を同期するためのsynced_objectsパラメータの例を示します。 

{"database_list":[
 {"database":"tpcdsparquet",
     "table_list": [ "tpcdsparquet_customer",
                     "tpcdsparquet_item",
                     "tpcdsparquet_web_sales" ] } ]}

親トピック: 同期サブプログラムの要約

CREATE_SYNC_JOBプロシージャ

この手順では、定期的にRUN_SYNCを起動するスケジューラ・ジョブを作成します。

これは、同期するオブジェクトのセット、エラー・セマンティクス、ログ・レベルおよび繰返し間隔を入力として取得します。 同期の動作の詳細は、「DBMS_DCAT RUN_SYNCプロシージャ」を参照してください。

1つの同期ジョブのみ存在できます。 強制パラメータがTRUEに設定されていないかぎり、別のジョブがすでに指定されている場合、CREATE_SYNC_JOBプロシージャは失敗します。 forceがTRUEに設定されている場合、前のジョブは削除されます。

別の同期の進行中にスケジューラ・ジョブが実行しようとすると、スケジューラ・ジョブは失敗します。

ノート:

2022年4月4日に、sync_optionおよびgrant_readパラメータがRUN_SYNCプロシージャに追加されました。 その日付より前に作成されたスケジュールされた同期ジョブのパフォーマンスを確実にするには、スケジュールされた同期ジョブを削除して再作成する必要があります。 「DBMS_DCAT.DROP _SYNC_JOBプロシージャ」と「DBMS_DCAT.CREATE _SYNC_JOBプロシージャ」を参照してください。

構文

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

パラメータ

パラメータ 説明

synced_objects

RUN_SYNCプロシージャで説明するように、同期するオブジェクトを指定するJSONオブジェクト。

error_semantics

(オプション) RUN_SYNCに指定されているエラー動作。 デフォルトはSKIP_ERRORSです。

log_level

(オプション) RUN_SYNCされているロギング・レベル。 デフォルトはINFOです。

repeat_interval

DBMS_SCHEDULER.CREATE_JOBプロシージャの繰返し間隔パラメータと同じセマンティクスを使用して、ジョブの間隔を繰り返します。 repeat_intervalの詳細は、「ジョブの作成の概要」を参照してください。

force

(オプション) TRUEの場合、既存の同期ジョブが最初に削除されます。 FALSEの場合、同期ジョブがすでに存在すると、CREATE_SYNC_JOBプロシージャが失敗します。 デフォルトはFALSEです。

grant_read (オプション)プロシージャRUN_SYNCの説明に従い、同期された外部表に対するREADを付与するユーザー/ロールのリスト。 「DBMS_DCAT.RUN _SYNCプロシージャ」を参照してください。
sync_option (オプション)プロシージャRUN_SYNCで説明されているように、前のRUN_SYNC操作によってすでに同期されているエンティティに対する動作。 「DBMS_DCAT.RUN _SYNCプロシージャ」を参照してください。
dcat_con_id このパラメータは、「データ・カタログ」への接続の作成時に指定された一意の「データ・カタログ」接続識別子です。 「DBMS_DCAT SET_DATA_CATALOG_CONNプロシージャ」を参照してください。 このパラメータは、同期に使用される接続を識別し、導出されたスキーマ名の一部になります。 スキーマ名の導出方法の詳細は、「同期マッピング」を参照してください。 パラメータのデフォルトはNULLです。

親トピック: 同期サブプログラムの要約

DROP_SYNC_JOBプロシージャ

このプロシージャは、指定された一意の接続識別子の既存の同期ジョブを削除します。

構文

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

パラメータ

パラメータ 説明
dcat_con_id 一意の「データ・カタログ」接続識別子。 デフォルトはNULLです。

親トピック: 同期サブプログラムの要約

DROP_SYNCED_SCHEMASプロシージャ

このプロシージャは、指定された一意の接続識別子について、以前に同期されたすべてのスキーマを削除します。

構文

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

パラメータ

パラメータ 説明
dcat_con_id 一意の「データ・カタログ」接続識別子。 デフォルトはNULLです。

親トピック: 同期サブプログラムの要約

「データ・カタログ」ビューのサマリー

「データ・カタログ」とAutonomous Databaseの統合には、多数の表およびビューが用意されています。

これらの表およびビューは、次のことを理解するのに役立ちます:

  • 使用可能な「データ・カタログ」アセット。 任意のタイプの「データ・カタログ」アセットに関する情報を取得 - データベース、オブジェクト・ストアなどが含まれます。
  • 「データ・カタログ」オブジェクト・ストレージ・アセットおよびAutonomous Databaseと同期されたエンティティに関する情報。 これには、「データ・カタログ」アイテム(アセット、フォルダおよびエンティティ)がAutonomous Databaseオブジェクト(スキーマおよび外部表)にマップされる方法の詳細が含まれます。
  • メタデータ同期の実行。 同期中に発生した可能性のある問題など、同期ジョブの詳細を確認します。

この表は、DBMS_DCATパッケージで提供される表およびビューを示しています。

表示 説明
ALL_CLOUD_CATALOG_DATABASESビュー OCI 「データ・カタログ」データ・アセットおよびAWS Glue 「データ・カタログ」データベースに関する情報の表示
ALL_CLOUD_CATALOG_TABLESビュー OCI 「データ・カタログ」のデータ・エンティティおよびAWS Glue 「データ・カタログ」の表に関する情報を表示するために使用されます
ALL_DCAT_ASSETSビュー このデータベースにアクセス権限があるデータ・カタログ・アセットをリスト
ALL_DCAT_ATTRIBUTESビュー このデータベースにアクセス権限があるデータ・カタログ属性のリスト
ALL_DCAT_CONNECTIONSビュー このインスタンスに接続されているデータ・カタログに関する情報を含むビュー
ALL_DCAT_ENTITIESビュー

このデータベースがアクセスを許可されている論理エンティティをリスト
ALL_DCAT_FOLDERSビュー 論理エンティティのデータファイルを含むオブジェクト・ストレージ・バケットのメタデータをリスト
ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGSビュー 各カタログに対するアクセス権限のレベルとともに、すべてのリージョンにわたってアクセス可能なすべてのカタログをリスト
ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGSビュー 現在のリージョン内のアクセス可能なすべてのカタログを、各カタログのアクセス権限レベルとともにリスト
ALL_GLUE_DATABASESビュー データ・カタログ資格証明がアクセスを許可されているAWS Glue 「データ・カタログ」データベースをリスト
ALL_GLUE_TABLESビュー データ・カタログ資格証明がアクセスを許可されているすべてのAWS Glue 「データ・カタログ」表を表示
DCAT_ATTRIBUTESビュー 論理エンティティ属性の外部表の列へのマッピングのリスト
DCAT_ENTITIESビュー 外部表への論理エンティティのマッピングについて説明
DBMS_DCAT$SYNC_LOGビュー 現在のユーザーが最後に実行した同期操作のログ表に簡単にアクセスできます
  • ALL_CLOUD_CATALOG_DATABASESビュー
    OCIデータ・カタログ・データ・アセットおよびAWS Glueデータ・カタログ・データベースに関する情報を表示するには、ビューALL_CLOUD_CATALOG_DATABASESを使用します。
  • ALL_CLOUD_CATALOG_TABLESビュー
    ビューALL_CLOUD_CATALOG_TABLESは、AWS Glueデータ・カタログのデータ・カタログおよび表のOCIデータ・エンティティに関する情報を表示するために使用されます。
  • ALL_DCAT_ASSETSビュー
    このデータベースにアクセス権限があるデータ・カタログ・アセット。
  • ALL_DCAT_ATTRIBUTESビュー
    このデータベースへのアクセスが認可されている「データ・カタログ」属性。
  • ALL_DCAT_CONNECTIONSビュー
    このインスタンスに接続されているデータ・カタログに関する情報を含むビュー。
  • ALL_DCAT_ENTITIESビュー
    このデータベースにアクセスする権限がある「データ・カタログ」論理エンティティ。
  • ALL_DCAT_FOLDERSビュー
    論理エンティティのデータファイルを含むオブジェクト・ストレージ・バケットのMetadata。
  • ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGSビュー
    このビューには、すべてのリージョンにわたってアクセス可能なすべてのカタログが、各カタログに対するアクセス権限のレベルとともにリストされます。
  • ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGSビュー
    このビューには、現在のリージョン内のアクセス可能なすべてのカタログが、各カタログのアクセス権限レベルとともにリストされます。
  • ALL_GLUE_DATABASESビュー
    データ・カタログ資格証明がアクセスを許可されているAWS Glueデータ・カタログ・データベース。
  • ALL_GLUE_TABLESビュー
    このビューには、データ・カタログ資格証明にアクセスする権限があるすべての「AWS Glueデータ・カタログ」表が表示されます。
  • DCAT_ATTRIBUTESビュー
    論理エンティティ属性の外部表の列へのマッピングをリストします。
  • DCAT_ENTITIESビュー
    論理エンティティと外部表のマッピングについて説明します。
  • DBMS_DCAT$SYNC_LOGビュー
    DBMS_DCAT$SYNC_LOGビューを使用すると、現在のユーザーが実行した最後の同期操作のログ表に簡単にアクセスできます。

親トピック: DBMS_DCATパッケージ

ALL_CLOUD_CATALOG_DATABASESビュー

OCIデータ・カタログ・データ・アセットおよびAWS Glueデータ・カタログ・データベースに関する情報を表示するには、ビューALL_CLOUD_CATALOG_DATABASESを使用します。

列 説明
DCAT_CON_ID CON1
CATALOG_ID データ・カタログの一意の識別子。

OCIデータ・カタログの例:

ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

AWS Glueデータ・カタログの例:

NULL

579294766787
NAME データ・アセット(OCI)/ データベースの名前(AWS Glue)。

OCIデータ・カタログの例:

OBJECT_STORE_AT_ASHBURN

AWS Glueデータ・カタログの例:

OBJECT_STORE_AT_N_CALIFORNIA
DESCRIPTION データ・アセット(OCI)/ データベース(AWS Glue)の説明。

OCIデータ・カタログの例: 

Data stored in S3 (N. California)

AWS Glueデータ・カタログの例: 

Data stored in S3 (N. California)
TIME_CREATED データ・アセット(OCI) / データベース(AWS Glue)がデータ・カタログに作成された日時。

OCIデータ・カタログの例:

26-SEP-22 10.56.01.395000 PM +00:00

AWS Glueデータ・カタログの例:

2022-06-15T09:45:35+01:00
DETAILS 各データ・エンティティ(OCI) / データベース(AWS Glue)に関するメタデータを含むJSONドキュメント。

OCIデータ・カタログの例: 

{
  "catalog-id": "ocid1.datacatalog.oc1.ap-mumbai-1.amaaa...",
  "description": null,
  "display-name": "OBJECT_STORE_AT_ASHBURN",
  "external-key": "https://swiftobjectstorage.us-ashburn-1....",
  "key": "bc95181c-3ac3-4959-9e5f-4e460d3fb82a",
  "lifecycle-state": "ACTIVE",
  "time-created": "2022-09-26T22:56:01.395000+00:00",
  "type-key": "3ea65bc5-f60d-477a-a591-f063665339f9",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-4e460d3fb82a"
}

AWS Glueデータ・カタログの例: 

{
    "Name": "dbmsdcatpoc",
    "Parameters": {
        "somekey": "somevalue"
    },
    "CreateTime": "2022-06-15T09:45:35+01:00",
    "CreateTableDefaultPermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
            },
            "Permissions": [
                "ALL"
            ]
        }
    ],
    "CatalogId": "579294766787"
}

親トピック: データ・カタログ・ビューのサマリー

ALL_CLOUD_CATALOG_TABLESビュー

ビューALL_CLOUD_CATALOG_TABLESは、AWS Glueデータ・カタログのデータ・エンティティおよび表に関する情報を表示するために使用されます。

列 説明
DCAT_CON_ID データ・カタログの一意の識別子。 接続ID。

OCIデータ・カタログの例: CON1

AWS Glueデータ・カタログの例: CON1
CATALOG_ID データ・カタログの一意の識別子。

OCIデータ・カタログの例: ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

AWS Glueデータ・カタログの例: NULL

579294766787
DATABASE_NAME データ・アセット(OCI)/ データベースの名前(AWS Glue)。

OCIデータ・カタログの例: OBJECT_STORE_AT_ASHBURN

AWS Glueデータ・カタログの例: OBJECT_STORE_AT_N_CALIFORNIA
NAME データ・エンティティ(OCI) / 表(AWS Glue)の名前。

OCIデータ・カタログの例: BIKES_TRIPS

AWS Glueデータ・カタログの例: BIKES_TRIPS
DESCRIPTION データ・エンティティ(OCI) / 表(AWS Glue)の説明。

OCIデータ・カタログの例: Table storing bike trips

AWS Glueデータ・カタログの例: Table storing bike trips
TIME_CREATED データ・エンティティ(OCI) / 表(AWS Glue)がデータ・カタログに作成された日時。

OCIデータ・カタログの例: 26-SEP-22 10.56.01.395000 PM +00:00

AWS Glueデータ・カタログの例: 2022-06-15T09:45:35+01:00
TIME_UPDATED データ・エンティティ(OCI) / 表(AWS Glue)に最後に変更が加えられた時間。

OCIデータ・カタログの例: 26-SEP-22 10.56.01.395000 PM +00:00

AWS Glueデータ・カタログの例: 2022-06-15T09:45:35+01:00
DETAILS 各データ・エンティティ(OCI) / 表(AWS Glue)に関するメタデータを含むJSONドキュメント

OCIデータ・カタログの例: 

{  
  "business-name": null,
  "data-asset-key": "bc95181c-3ac3-4959-9e5f-...",
  "description": null,
  "display-name": "bikes_trips",
  "external-key": "LE: https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/..._trips",
  "folder-key": "9c4b542d-d6eb-4b83-bf59-...",
  "folder-name": "hive",
  "is-logical": true,
  "is-partition": false,
  "key": "fde30a69-a07c-478a-ab62-...",
  "lifecycle-state": "ACTIVE",
  "object-storage-url": "https://objectstorage.us-ashburn-1.oraclecloud.com/n/...",
  "path": "OBJECT_STORE_AT_ASHBURN/hive/hive",
  "pattern-key": "db21b3f1-1508-4045-aa80-...",
  "properties": {
    "default": {
      "CONTENT-LENGTH": "4310321",
      "LAST-MODIFIED": "Fri, 9 Oct 2020 20:16:52 UTC",
      "archivedPECount": "0",
      "dataEntityExpression": "{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*",
      "harvestedFile": "bikes.db/trips/p_start_month=2019-09/000000_0",
      "patternName": "bikes_trips"
    },
    "harvestProps": {
      "characterset": "UTF8",
      "compression": "none",
      "type": "PARQUET"
    }
  },
  "realized-expression": "bikes.db/trips/.*",
  "time-created": "2022-09-26T22:56:35.063000+00:00",
  "time-updated": "2022-09-26T22:56:35.063000+00:00",
  "type-key": "6753c3af-7f88-44b9-be52-1d57bef462fb",
  "updated-by-id": "ocid1.user.oc1..r5l3tov7a",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-..."
}

AWS Glueデータ・カタログの例: 

{
    "Name": "bikes_trips",
    "DatabaseName": "dbmsdcatpoc",
    "Owner": "owner",
    "CreateTime": "2022-06-23T13:24:20+01:00",
    "UpdateTime": "2022-06-23T13:24:20+01:00",
    "LastAccessTime": "2022-06-23T13:24:20+01:00",
    "Retention": 0,
    "StorageDescriptor": {
        "Columns": [
            {
                "Name": "trip_duration",
                "Type": "int"
            },
            {
                "Name": "start_month",
                "Type": "string"
            }, ...
        ],
        "Location": "s3://dbmsdcatpoc/hive/bikes.db/trips/",
        "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
        "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat",
        "Compressed": false,
        "NumberOfBuckets": -1,
        "SerdeInfo":
 {            "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe",
            "Parameters": {
                "serialization.format": "1"
            }
        },
        "BucketColumns": [],
        "SortColumns": [],
        "Parameters": {
            "CrawlerSchemaDeserializerVersion": "1.0",
            "CrawlerSchemaSerializerVersion": "1.0",
            "UPDATED_BY_CRAWLER": "crawler-bikes",
            "averageRecordSize": "86",
            "classification": "parquet",
            "compressionType": "none",
            "objectCount": "12",
            "recordCount": "404947",
            "sizeKey": "35312159",
            "typeOfData": "file"
        },
        "StoredAsSubDirectories": false
    },
    "PartitionKeys": [
        {
            "Name": "p_start_month",
            "Type": "string"
        }
    ],
    "TableType": "EXTERNAL_TABLE",
    "Parameters": {
        "CrawlerSchemaDeserializerVersion": "1.0",
        "CrawlerSchemaSerializerVersion": "1.0",
        "UPDATED_BY_CRAWLER": "crawler-bikes",
        "averageRecordSize": "86",
        "classification": "parquet",
        "compressionType": "none",
        "objectCount": "12",
        "recordCount": "404947",
        "sizeKey": "35312159",
        "typeOfData": "file"
    },
    "CreatedBy": "arn:aws:sts::579294766787:assumed-role/AWSGlueServiceRole-dbmsdcat/AWS-Crawler",
    "IsRegisteredWithLakeFormation": false,
    "CatalogId": "579294766787",
    "VersionId": "0"
}

例

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_ASSETSビュー

このデータベースがアクセスを許可されているデータ・カタログ・アセット。

列 データ型 説明
DCAT_CON_ID VARCHAR2 (4000) インスタンス内で一意の接続識別子

KEY

 VARCHAR2(4000)

資産キー
DISPLAY_NAME VARCHAR2(4000) アセット表示名
DESCRIPTION VARCHAR2(4000) アセットの説明
CATALOG_ID VARCHAR2(4000) アセットを含む「データ・カタログ」のOCID
EXTERNAL_KEY VARCHAR2(4000) アセットのベース・オブジェクト・ストレージURI
URI VARCHAR2(4000) 「データ・カタログ」 APIのアセットURI
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE データ・アセットが作成された日時
TYPE_KEY VARCHAR2(4000) データ・アセット・タイプのキー(現在は、オブジェクト・ストレージ・データ・アセットのみがサポートされています)。 タイプ・キーは、/types' 「データ・カタログ」エンドポイントを介して検索できます。
LIFECYCLE_STATE VARCHAR2(4000) データ・アセットの現在の状態。 考えられるライフサイクル状態の詳細は、「データ・カタログ」 「DataAssetリファレンス」でlifecycleStateの考えられる状態のリストを参照してください。

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_ATTRIBUTESビュー

このデータベースがアクセスを許可されている「データ・カタログ」属性。

列 データ型 説明
DCAT_CON_ID VARCHAR2 (4000) インスタンス内で一意の接続識別子
KEY NUMBER 属性キー

DISPLAY_NAME

 VARCHAR2(4000)

属性の表示名
BUSINESS_NAME VARCHAR2(4000) 属性ビジネス名
DESCRIPTION VARCHAR2(4000) 属性の説明
DATA_ASSET_KEY VARCHAR2(4000) データ・アセット・キー
FOLDER_KEY VARCHAR2(4000) フォルダ・キー
ENTITY_KEY VARCHAR2(4000) エンティティ・キー
EXTERNAL_KEY VARCHAR2(4000) 属性の一意の外部キー
LENGTH NUMBER 属性値の最大許容長
PRECISION NUMBER 属性値の精度(通常はfloatデータ型に適用されます)
SCALE NUMBER 属性値のスケール(通常はfloatデータ型に適用されます)
IS_NULLABLE NUMBER この属性にNULL値を割り当てることができるかどうかを識別
URI VARCHAR2(4000) 「データ・カタログ」 APIの属性インスタンスへのURI
LIFECYCLE_STATE VARCHAR2(4000) 属性の現在の状態。 考えられるライフサイクル状態の詳細は、「データ・カタログ」 「属性参照」でlifecycleStateの考えられる状態のリストを参照してください。
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE 属性が作成された日時
EXTERNAL_DATA_TYPE VARCHAR2(4000) 外部システムで定義されている属性のデータ型
MIN_COLLECTION_COUNT NUMBER 属性のタイプがコレクション・タイプの場合の最小要素数
MAX_COLLECTION_COUNT NUMBER 属性のタイプがコレクション・タイプの場合の最大要素数
DATATYPE_ENTITY_KEY VARCHAR2(4000) この属性のデータ型を表すエンティティ・キー(この属性が複合タイプの場合に適用可能)
EXTERNAL_DATATYPE_ENTITY_KEY VARCHAR2(4000) この属性のデータ型を表す外部エンティティ・キー(この属性が複合タイプの場合に適用可能)
PARENT_ATTRIBUTE_KEY VARCHAR2(4000) 親属性が複合データ型の場合に適用可能な、この属性の親属性を表す属性キー
EXTERNAL_PARENT_ATTRIBUTE_KEY VARCHAR2(4000) 親属性が複合タイプの場合に適用可能な、この属性の親属性を表す外部属性キー
PATH VARCHAR2(4000) 属性のフルパス

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_CONNECTIONSビュー

このインスタンスに接続されたデータ・カタログに関する情報を含むビュー。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) インスタンス内で一意の接続識別子
COMPARTMENT_ID VARCHAR2(4000) 「データ・カタログ」インスタンスが存在するコンパートメントのOCID
INSTANCE_ID VARCHAR2(4000)

「データ・カタログ」インスタンスのOCID

REGION

 VARCHAR2(4000)

「データ・カタログ」インスタンスのリージョン

ENDPOINT VARCHAR2(4000) 「データ・カタログ」インスタンスのエンドポイント
CREATED TIMESTAMP 「データ・カタログ」インスタンスが作成されたとき
NAME VARCHAR2(4000) 「データ・カタログ」インスタンスの名前
LAST_UPDATED TIMESTAMP 「データ・カタログ」インスタンスへの接続の最終更新のタイムスタンプ
LATEST_OPERATION_ID NUMBER 最後の同期操作のID
DATA_CATALOG_CREDENTIAL VARCHAR2(128) 「データ・カタログ」へのアクセスに使用される資格証明
OBJECT_STORE_CREDENTIAL VARCHAR2(128) オブジェクト・ストアにアクセスするための外部表ドライバによって使用される資格証明

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_ENTITIESビュー

このデータベースがアクセスを許可されている「データ・カタログ」論理エンティティ。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) インスタンス内で一意の接続識別子
CATALOG_ID VARCHAR2(4000) アセットを含むデータ・カタログのOCID

KEY

 VARCHAR2(4000)

エンティティ・キー
DISPLAY_NAME VARCHAR2(4000)

エンティティ表示名
BUSINESS_NAME VARCHAR2(4000)

エンティティ・ビジネス名
DESCRIPTION VARCHAR2(4000)

論理エンティティの説明

DATA_ASSET_KEY

 VARCHAR2(4000)

資産キー

FOLDER_KEY

 VARCHAR2(4000)

フォルダ一意キー
FOLDER_NAME VARCHAR2(4000) フォルダ名(バケット)
EXTERNAL_KEY VARCHAR2(4000) 論理エンティティの外部キー
PATTERN_KEY VARCHAR2(4000) 論理エンティティの関連パターンのキー
REALIZED_EXPRESSION VARCHAR2(4000) この論理エンティティのファイルの取得に使用される正規表現
PATH VARCHAR2(4000) 論理エンティティのフルパス
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE エンティティが作成された日時
TIME_UPDATED TIMESTAMP(6) WITH TIME ZONE データ・エンティティに対して最後に変更が行われた時間
UPDATED_BY_ID VARCHAR2(4000) 「データ・カタログ」でこのオブジェクトを更新したユーザーのOCID
URI VARCHAR2(4000) APIのエンティティ・インスタンスのURI
LIFECYCLE_STATE VARCHAR2(4000) エンティティの現在の状態。 考えられるライフサイクル状態の詳細は、「データ・カタログ」 「エンティティ参照」でlifecycleStateの考えられる状態のリストを参照してください。

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_FOLDERSビュー

論理エンティティのデータ・ファイルを含むオブジェクト・ストレージ・バケットのメタデータ。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) インスタンス内で一意の接続識別子
CATALOG_ID VARCHAR2(4000) アセットを含むデータ・カタログのOCID

KEY

 VARCHAR2(4000)

フォルダ・キー

DISPLAY_NAME

 VARCHAR2(4000)

フォルダ表示名
BUSINESS_NAME VARCHAR2(4000) フォルダ・ビジネス名
DESCRIPTION VARCHAR2(4000) フォルダの説明
DATA_ASSET_KEY VARCHAR2(4000) フォルダを含むデータ・アセットのキー
PARENT_FOLDER_KEY VARCHAR2(4000) 親フォルダのキー(現在はデータ・アセット・キーです)
PATH VARCHAR2(4000) フォルダのフルパス
EXTERNAL_KEY VARCHAR2(4000) バケットのオブジェクト・ストレージURI
TIME_EXTERNAL TIMESTAMP(6) WITH TIMEZONE このフォルダの最終変更タイムスタンプ
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE フォルダが作成された日時
URI VARCHAR2(4000) 「データ・カタログ」 APIのフォルダ・インスタンスへのURI。
LIFECYCLE_STATE VARCHAR2(4000) フォルダの現在の状態。 考えられるライフサイクル状態の詳細は、「データ・カタログ」 「フォルダ参照」でlifecycleStateの考えられる状態のリストを参照してください。

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGSビュー

このビューには、すべてのリージョンにわたってアクセス可能なすべてのカタログと、各カタログのアクセス権限のレベルがリストされます。

列 データ型 説明

CATALOG_ID

 VARCHAR2(4000)

カタログのOCID
CATALOG_NAME VARCHAR2(4000) カタログの名前
CATALOG_REGION VARCHAR2(4000) カタログ・リージョンの名前
CATALOG_SCORE NUMBER カタログ・スコアは、「データ・カタログ」アクセス資格証明に対して構成された権限から計算される数値です。 カタログ・スコアが高いほど、権限が大きくなり、このカタログがこのAutonomous Databaseインスタンスで使用する可能性が高くなる可能性があります。

親トピック: データ・カタログ・ビューのサマリー

ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGSビュー

このビューには、現在のリージョン内のすべてのアクセス可能なカタログが、各カタログのアクセス権限のレベルとともにリストされます。

列 データ型 説明

CATALOG_ID

 VARCHAR2(4000)

カタログのOCID
CATALOG_NAME VARCHAR2(4000) カタログの名前
CATALOG_SCORE NUMBER カタログ・スコアは、「データ・カタログ」アクセス資格証明に対して構成された権限から計算される数値です。 カタログ・スコアが高いほど、権限が大きくなり、このカタログがこのAutonomous Databaseインスタンスで使用する可能性が高くなる可能性があります。

親トピック: データ・カタログ・ビューのサマリー

ALL_GLUE_DATABASESビュー

データ・カタログ資格証明がアクセスを許可されているAWS Glueデータ・カタログ・データベース。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) データ・カタログ接続IDの一意の識別子。
CATALOG_ID VARCHAR2(255) データ・カタログの一意の識別子。
NAME VARCHAR2(255) データベースの名前。
DESCRIPTION VARCHAR2(2048) データベースの説明。
LOCATION_URI VARCHAR2(1024) データベースの場所。
CREATE_TIME TIMESTAMP データベースがデータ・カタログに作成された時間。
PARAMETERS CLOB データベースのパラメータおよびプロパティを定義するキーと値のペアを持つJSONドキュメント。
TARGET_DATABASE VARCHAR2(4000) AWSでリソース・リンクのターゲット・データベースを記述するJSONドキュメント。

親トピック: データ・カタログ・ビューのサマリー

ALL_GLUE_TABLESビュー

このビューには、データ・カタログ資格証明にアクセスする権限があるすべての「AWS Glueデータ・カタログ」表が表示されます。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) データ・カタログ接続IDの一意の識別子。
CATALOG_ID VARCHAR2(255) カタログの識別子
DATABASE_NAME VARCHAR2(255) データベース名
NAME VARCHAR2(255) 表名
TABLE_TYPE VARCHAR2(255) 表タイプ
CLASSIFICATION VARCHAR2(255)  
DESCRIPTION VARCHAR2(2048) 表の説明
OWNER VARCHAR2(255) 表の所有者
CREATED_BY VARCHAR2(255) 表作成者
CREATE_TIME TIMESTAMP 表がデータ・カタログに作成された時間。
LAST_ANALYZED_TIME TIMESTAMP この表の列統計が最後に計算された時間。
LAST_ACCESS_TIME TIMESTAMP 表が最後にアクセスされた時間。
UPDATE_TIME TIMESTAMP 表が最後に更新された時間。
IS_REGISTERED_WITH_LAKE_FORMATION NUMBER 表がAWS湖形成に登録されているかどうかを示します。
PARAMETERS CLOB 表のプロパティを定義するキーと値のペアを持つJSONドキュメント。
PARTITION_KEYS CLOB 表のパーティション化に使用する列のリストを含むJSONドキュメント。
RETENTION NUMBER この表の保存時間。
STORAGE_DESCRIPTION CLOB 表の物理ストレージに関する情報を含むJSONドキュメント。
TARGET_TABLE VARCHAR2(4000) AWSでのリソース・リンクに使用されるターゲット表を記述するJSONドキュメント。
VERSION_ID VARCHAR2(255) 表のバージョン識別子。
VIEW_EXPANDED_TEXT CLOB Hiveとの互換性のためにAWS Glueによって導入されました。 AWS Glueでは使用されません。
VIEW_ORIGINAL_TEXT CLOB Hiveとの互換性のためにAWS Glueによって導入されました。 AWS Glueでは使用されません。

親トピック: データ・カタログ・ビューのサマリー

DCAT_ATTRIBUTESビュー

論理エンティティ属性の外部表の列へのマッピングをリストします。

列 データ型 説明
DCAT_CON_ID VARCHAR2 (4000) インスタンス内で一意の接続識別子
ASSET_KEY VARCHAR2(4000) データ・カタログ・アセット・キー

ENTITY_KEY

 VARCHAR2(4000)

データ・カタログ・エンティティ・キー

ATTRIBUTE_KEY

 VARCHAR2(4000)

データ・カタログ属性キー
ORACLE_COLUMN_NAME VARCHAR2(128) マップされた列名

親トピック: データ・カタログ・ビューのサマリー

DCAT_ENTITIESビュー

論理エンティティと外部表のマッピングについて説明します。

列 データ型 説明
DCAT_CON_ID VARCHAR2(4000) インスタンス内で一意の接続識別子
ASSET_KEY VARCHAR2(4000) データ・カタログ・アセット・キー

ENTITY_KEY

 VARCHAR2(4000)

データ・カタログ・エンティティ・キー

FOLDER_KEY

 VARCHAR2(4000)

データ・カタログ・フォルダ・キー
ORACLE_TABLE_NAME VARCHAR2(128) マップされた表名
ORACLE_SCHEMA_NAME VARCHAR2(128) マップされたスキーマ名
ENTITY_ORACLE_DB_SCHEMA VARCHAR2(4000) スキーマの導出に使用されるエンティティoracle-db-schemaカスタム・プロパティ
ASSET_ORACLE_DB_SCHEMA VARCHAR2(4000) スキーマの導出に使用されるデータ・アセットoracle-db-schemaカスタム・プロパティ
FOLDER_ORACLE_DB_SCHEMA VARCHAR2(4000) スキーマの導出に使用されるフォルダoracle-db-schemaカスタム・プロパティ

親トピック: データ・カタログ・ビューのサマリー

DBMS_DCAT$SYNC_LOGビュー

DBMS_DCAT$SYNC_LOGビューを使用すると、現在のユーザーが実行した最後の同期操作のログ表に簡単にアクセスできます。

RUN_SYNCプロシージャへのすべてのコールは、USER_LOAD_OPERATIONSのLOGFILE_TABLEフィールドで指定された新しいログ表に記録されます。 ログ表は2日後に自動的に削除され、ユーザーは「DELETE_ALL_OPERATIONSプロシージャ」(タイプがDCAT_SYNC)を使用してすべての同期ログをクリアできます。

DBMS_DCAT$SYNC_LOGビューでは、最新のログ表が自動的に識別されます。 次に、DBMS_DCAT$SYNC_LOGビューのスキーマについて説明します。アクセス権限は、個々のログ表の権限と同じです。 デフォルトでは、READはdbms_dcatロールおよびADMINユーザーに付与されます。

ログ表の形式は次のとおりです:

列 データ型 説明

LOG_TIMESTAMP

 TIMESTAMP

ログ・エントリのタイムスタンプ。

LOG_LEVEL

 VARCHAR2(32)

エントリ・ログ・レベルには、次のいずれかの値を指定できます: OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL。

LOG_DETAILS VARCHAR2(32767) ログ・メッセージ

親トピック: データ・カタログ・ビューのサマリー