サポートされている構成

制限事項

アイスバーグカタログ

メタデータ・ファイル

メタデータ・ファイルは、表のスナップショット、パーティション化スキームおよびスキーマ情報を追跡するJSONドキュメントです。メタデータファイルは、マニフェストリストおよびマニフェストファイルの階層へのエントリポイントです。マニフェストは、パーティション化と列の統計などの情報とともに、表のデータファイルを追跡します。詳細は、Iceberg Table Specificationを参照してください。

トランザクション

Icebergでは、copy-on-writeまたはmerge-on-readを使用して、表の行レベルの更新をサポートしています。Copy-on-writeでは、更新された行を反映する新しいデータ・ファイルが生成され、merge-on-readでは、読取り中にデータ・ファイルとマージする必要がある新しい「削除ファイル」が生成されます。Oracleでは、copy-on-writeがサポートされています。アイスバーグ表に対する問合せは、削除ファイルが検出されると失敗します。詳細は、RowLevelOperationModeを参照してください。

スキーマ展開

Icebergはスキーマの進化をサポートします。スキーマの変更は、スキーマIDを使用してIcebergメタデータに反映されます。Oracle外部表には、表作成時に最新のスキーマ・バージョンによって決定される固定スキーマがあります。問合せされたメタデータが表作成時に使用されたものとは異なるスキーマ・バージョンを指している場合、Iceberg問合せは失敗します。詳細は、Schema Evolutionを参照してください。

パーティション化

Icebergでは、隠れたパーティション化やパーティションの展開など、コストのかかるデータ・レイアウトの変更なしに表のメタデータを処理/変更することに依存する高度なパーティション化オプションがサポートされています。

Glueデータ・カタログを使用したAWSのIceberg表の問合せ

この例では、Iceberg表iceberg_parquet_time_dimを問い合せます。

表はGlueデータベースmy-iceberg-dbに属し、フォルダs3://my-iceberg-bucket/iceberg-locに格納されます。

iceberg_parquet_time_dimの表の詳細を次に示します。

次のように、iceberg_parquet_time_dimの外部表を作成できます。

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim',
    credential_name  => 'AWS_CRED',
    file_uri_list    => '',
    format           =>
      '{"access_protocol":
        {
         "protocol_type": "iceberg",
         "protocol_config":
          {
           "iceberg_catalog_type": "aws_glue",
           "iceberg_glue_region": "us-west-1",
           "iceberg_table_path": "my-iceberg-db.iceberg_parquet_time_dim"
          }
        }
      }'
  );
END;
/

protocol_configセクションでは、表がカタログ・タイプとしてAWS Glueを使用することを指定し、カタログのリージョンをus-west-1に設定します。

資格証明AWS_CREDは、AWS APIキーとともにdbms_cloud.create_credentialを使用して作成されます。Glueデータ・カタログ・インスタンスは、各アカウントに単一のGlueデータ・カタログ・リージョンがあるため、リージョンus-west-1のAWS_CREDに関連付けられたアカウントIDによって決定されます。protocol_configセクションのiceberg_table_path要素は、$database_name.$table_nameパスを使用してGlue表名とデータベース名を指定します。最後に、column_list およびfield_listパラメータは、表のスキーマがIcebergメタデータから自動的に導出されるため、NULLのままになります。

資格証明の作成の詳細は、CREATE_CREDENTIALプロシージャに関する項を参照してください。AWS Glueリソースの詳細は、「AWS GlueリソースARNの指定」を参照してください。

ルート・メタデータ・ファイルの場所を使用して、AWSでIceberg表を問い合せます。

Icebergテーブルのメタデータファイルの場所がわかっている場合は、次のようにカタログを指定せずに外部テーブルを作成できます。

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim',
    credential_name  => 'AWS_CRED',
    file_uri_list    => 'https://my-iceberg-bucket.s3.us-west-1.amazonaws.com/iceberg-loc/metadata/00004-1758ee2d-a204-4fd9-8d52-d17e5371a5ce.metadata.json',
    format           =>'{"access_protocol":{"protocol_type":"iceberg"}}');
END;
/

file_uri_listパラメータを使用して、メタデータ・ファイルの場所をAWS S3仮想ホスト形式のURL形式で指定します。この形式の詳細は、AWS S3バケットにアクセスする方法を参照してください。

この例では、データベースはメタデータ・ファイルに直接アクセスするため、formatパラメータにprotocol_configセクションを指定する必要はありません。メタデータ・ファイルの場所を使用して外部表を作成する場合、データベースはメタデータ・ファイルによって参照される最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータ・ファイルを作成するIceberg表に対する後続の更新は、データベースには表示されません。

OCIでHadoopカタログを使用するIceberg表の問合せ

この例では、OCIデータ・フローを使用して作成されたIceberg表icebergTablePyを問い合せます。ここで、SparkはIcebergカタログのHadoopCatalog実装を使用します。HadoopCatalogは、warehouseディレクトリを使用し、Icebergメタデータをこのディレクトリの下の$database_name/$table_nameサブフォルダに配置します。また、最新のメタデータ・ファイル・バージョンのバージョン番号を含むversion-hint.textファイルも使用します。Githubの例については、OCIデータ・フローでのIcebergのサポートを参照してください。

サンプル表db.icebergTablePyは、OCIバケットmy-iceberg-bucketにicebergという名前のwarehouseフォルダを使用して作成されました。表icebergTablePyのOCI上の記憶域レイアウトを次に示します。

次のようにして、表db.icebergTablePyの外部表を作成します。

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim3',
    credential_name  => 'OCI_CRED',
    file_uri_list    => '',
    format           =>'{"access_protocol":{"protocol_type":"iceberg",
        "protocol_config":{"iceberg_catalog_type": "hadoop",
        "iceberg_warehouse":"https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
        "iceberg_table_path": "db.icebergTablePy"}}}');
END;
/

ルート・メタデータ・ファイルの場所を使用して、OCIでIceberg表を問い合せます。

次のように、メタデータ・ファイルのURLを直接使用して、前の項で説明したIceberg表を問い合せることができます。

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim4',
    credential_name  => 'OCI_CRED',
    file_uri_list    => 'https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg/db/icebergTablePy/metadata/v2.metadata.json',
    format           =>'{"access_protocol":{"protocol_type":"iceberg"}}'
    );
  END;
/

この例では、file_uri_listパラメータを使用して、ネイティブOCI URI形式を使用してメタデータ・ファイルのURIを指定します。メタデータ・ファイルURIを使用する場合、外部表は常に、特定のファイルに格納されている最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータファイルを生成する後続の更新は、クエリーからアクセスできません。

ネイティブOCI URIフォーマットの詳細は、クラウド・オブジェクト・ストレージのURIフォーマットを参照してください。