外部表キャッシュを使用した外部表のパフォーマンスの向上
Oracle Autonomous Databaseの外部表キャッシュを使用すると、アクセス頻度の高いデータをデータベースの外部表からキャッシュできます。
ノート:
外部表キャッシュは、Oracle Database 23aiでのみサポートされています。Autonomous Databaseの外部表キャッシュについて
外部表キャッシュは、外部表からのデータを格納するAutonomous Databaseの記憶域です。
外部データはデータベースによって管理されませんが、外部表を使用してデータベース外部のデータを問い合せることができます。 外部表に対する問合せは、データにアクセスするたびにオブジェクト・ストアに格納されている外部ファイルからフェッチする必要があるため、データベース表に対する問合せほど高速ではありません。
外部表キャッシュ機能を使用すると、データにアクセスするアプリケーションを変更することなく、Autonomous Database内の外部表から頻繁にアクセスされるデータをキャッシュできるため、外部表へのアクセスが高速になります。
-
パフォーマンスの向上: 頻繁にアクセスされる外部データに対して問合せが数倍高速になります。同じデータに定期的にアクセスするダッシュボード、レポートおよび分析ツールに最適です。
-
100%透過性: キャッシュ・メカニズムは完全に透過的です。アプリケーションは、問合せ、ダッシュボードまたはアプリケーションに変更を加えることなく、高速化の恩恵を受けることができます。
-
クラウド・コストの削減: マルチクラウド・アプリケーションでは、キャッシュによってリモート・ストレージから外部データを繰り返し取得する必要性が軽減されるため、リージョンまたはクラウド間のデータへのアクセスに関連するデータ・エグレス料金が削減されます。
-
Parquet -
ORC -
AVRO -
Iceberg Tables
詳細は、外部データの問合せを参照してください。
前提条件外部表キャッシュの作成
外部表キャッシュを作成するための前提条件をリストします。
-
DBMS_EXT_TABLE_CACHEパッケージに対するEXECUTE権限が必要です。 外部表キャッシュは、独自のスキーマおよび所有する外部表に対してのみ作成できます。 -
キャッシュ・データに十分なストレージ容量があることを確認するために、スキーマに適切な領域割当て制限が割り当てられている必要があります。
-
オブジェクト・ストアに格納されている外部表ファイルにアクセスするには、資格証明が必要です。 Oracle Cloud Infrastructure Object Storeにアクセスするためにリソース・プリンシパル資格証明を有効にする場合は、資格証明を作成する必要はありません。
Autonomous Databaseでの外部表キャッシュの作成および管理
外部表キャッシュは、データベース内にスキーマ・オブジェクトとして作成されます。このスキーマ・オブジェクトには、表および索引がデータファイルに格納される方法と同様の物理領域が割り当てられます。 外部表キャッシュを作成すると、スキーマに新しい表が作成され、スキーマに設定された領域割当て制限も外部表キャッシュに適用されます。
外部表キャッシュの作成
DBMS_EXT_TABLE_CACHE.CREATE_CACHEを実行して、外部表キャッシュを作成します。
キャッシュが作成されると、最初は空になり、移入が有効になります。 キャッシュ・サイズは、スキーマに定義された領域割当て制限に応じて、割り当てられた制限に達するまで、ファイルが追加されるたびに増加します。 詳細は、外部表キャッシュのオプション・サイズ設定プリファレンスの設定を参照してください。
外部表キャッシュへのファイルの移入
外部表キャッシュにファイルを移入する例を示します。
キャッシュを作成したら、ファイルをキャッシュに移入できます。 移入ファイルは、指定された外部表ファイルの内容をキャッシュにロードします。 表からすべてのファイルを移入するか、表の特定の割合を移入するか、または移入するファイルを制限するフィルタ条件を指定できます。 たとえば、ファイル名または日付範囲に基づいてファイルをフィルタできます。
ノート:
-
スキーマに割り当てられた領域割当て容量に応じて、Oracleはファイルをキャッシュに移入しようとします。 割り当てられた割当て制限に達すると、必要な領域が割り当てられていないかぎり、Oracleはファイルの移入を停止します。
-
外部表キャッシュは自動的にはリフレッシュされません。 オブジェクト・ストア上のファイルが変更されたときにキャッシュを更新するには、ファイルを再移入する必要があります。
-
ファイルがオブジェクト・ストアから削除されると、対応するキャッシュ・データはただちに無効になり、取得できなくなります。
外部表キャッシュへの表の追加
DBMS_EXT_TABLE_CACHE.ADD_TABLEを使用して、表全体または外部表の特定の割合をキャッシュに移入します。
例
BEGIN
DBMS_EXT_TABLE_CACHE.ADD_TABLE (
owner => 'SALES',
table_name => 'STORE_SALES');
END;
/この例では、STORE_SALES表をキャッシュに移入しようとし、すでに移入されている既存のファイルをスキップします。
BEGIN
DBMS_EXT_TABLE_CACHE.ADD_TABLE (
owner => 'SALES',
table_name => 'STORE_SALES',
percent_files => 80);
END;
/この例では、STORE_SALES表の80%をキャッシュに移入しようとし、すでに移入されている既存のファイルをスキップします。
percent_filesパラメータはオプションです。このパラメータを指定しない場合、表全体がキャッシュに移入されます。
詳細は、ADD_TABLEプロシージャを参照してください。
外部表キャッシュへのファイルの追加
-
ADD_FILE: 単一のファイルをキャッシュに追加します。 -
ADD_BY_LIKE: 指定されたパス・フィルタに基づいて、指定された1つ以上のファイルを追加します。 -
ADD_LATEST_FILES: 指定された時間間隔に基づいて1つ以上のファイルを追加します。
例
DBMS_EXT_TABLE_CACHE.ADD_FILEプロシージャを使用して、単一のファイルを外部表キャッシュに移入します。 たとえば: BEGIN
DBMS_EXT_TABLE_CACHE.ADD_FILE (
owner => 'SALES',
table_name => 'STORE_SALES',
file_url => 'https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/salesdata.parquet'
);
END;
/この例では、salesdata.parquetファイルからキャッシュにデータを移入します。
この例では、指定したファイルがキャッシュに存在し、ファイルが最後にキャッシュされてから変更されていない場合に、キャッシュへのファイルの移入をスキップします。
詳細は、ADD_FILEプロシージャを参照してください。
DBMS_EXT_TABLE_CACHE.ADD_BY_LIKEプロシージャを使用して、1つ以上のファイルを外部表キャッシュに移入します。 たとえば: BEGIN
DBMS_EXT_TABLE_CACHE.ADD_BY_LIKE (
owner => 'SALES',
table_name => 'STORE_SALES',
path_filters => '["https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/sales%.parquet",
"https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/customer%.parquet"]'
);
END;
/この例では、salesまたはcustomerで始まるすべてのファイルに名前を移入しますが、すでに移入されているファイルは除外します。
BEGIN
DBMS_EXT_TABLE_CACHE.ADD_BY_LIKE (
owner => 'SALES',
table_name => 'STORE_SALES',
path_filters => '["https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/sales#_data1.parquet",
"https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/sales#_data2.parquet"]',
esc_char => '#',
force => TRUE);
END;
/この例では、sales_data1.parquetおよびsales_data2.parquetファイルをキャッシュに移入します。
この例では、#文字がエスケープ文字として定義されています。 '#'に続く'_'文字は、任意の1文字に一致するワイルドカードとしてではなく、リテラル・アンダースコアとして扱われます。
詳細は、ADD_BY_LIKEプロシージャを参照してください。
DBMS_EXT_TABLE_CACHE.ADD_LATEST_FILESプロシージャを使用して、最終変更日に基づいて1つ以上のファイルを外部表キャッシュに移入します。 たとえば: BEGIN
DBMS_EXT_TABLE_CACHE.ADD_LATEST_FILES (
owner => 'SALES',
table_name => 'STORE_SALES',
since => INTERVAL '7' DAY,
max_files => 5,
force => TRUE);
END;
/sinceパラメータは時間間隔を指定します。過去7日以内に変更されたファイルのみがキャッシュに移入されます。
max_filesパラメータは、キャッシュに移入できるファイルの数を制限します。 この例では、5つのファイルのみを移入します。
forceパラメータでは、ファイルが変更されていない場合でも、指定されたファイルが強制的にキャッシュで上書きされます。
詳細は、ADD_LATEST_FILESプロシージャを参照してください。
外部表キャッシュからのファイルの削除
外部表キャッシュからファイルを削除する例を示します。
外部表キャッシュのクリア
DBMS_EXT_TABLE_CACHE.CLEARを使用して、外部表キャッシュからすべてのファイルを削除します。 たとえば:
BEGIN
DBMS_EXT_TABLE_CACHE.CLEAR (
owner => 'SALES',
table_name => 'STORE_SALES');
END;
/この例では、STORE_SALESキャッシュからすべてのファイルを削除し、削除されたファイルで使用されるすべての領域の割当てを解除します。
詳細は、CLEARプロシージャを参照してください。
外部表キャッシュからのファイルの削除
-
DROP_FILE: キャッシュから単一のファイルを削除します。 -
DROP_BY_LIKE: 指定されたパス・フィルタに基づいてキャッシュから1つ以上のファイルを削除します。 -
RETIRE_FILES: 指定した間隔に基づいてキャッシュから1つ以上のファイルを削除します。
例
DBMS_EXT_TABLE_CACHE.DROP_FILEを使用して、外部表キャッシュからファイルを削除します。 たとえば:
BEGIN
DBMS_EXT_TABLE_CACHE.DROP_FILE (
owner => 'SALES',
table_name => 'STORE_SALES',
file_url => 'https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/salesdata.parquet'
);
END;
/この例では、salesdata.parquetファイルをキャッシュから削除し、削除されたファイルによって使用されているすべての領域を割当て解除します。
詳細は、DROP_FILEプロシージャを参照してください。
DBMS_EXT_TABLE_CACHE.DROP_BY_LIKEを使用して、path_filtersパラメータに基づいて1つ以上のファイルを削除します。 たとえば:
BEGIN
DBMS_EXT_TABLE_CACHE.DROP_BY_LIKE (
owner => 'SALES',
table_name => 'STORE_SALES',
path_filters => '["https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/salesdata.parquet",
"https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/salesdata1.parquet"]'
);
END;
/この例では、salesdata.parquetおよびsalesdata1.parquetファイルをキャッシュから削除し、削除されたファイルによって使用されているすべての領域を割当て解除します。
BEGIN
DBMS_EXT_TABLE_CACHE.DROP_BY_LIKE (
owner => 'SALES',
table_name => 'STORE_SALES',
path_filters => '["https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/sales#_data1.parquet",
"https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/your_namespace/your_bucket/sales#_data1.parquet"]'
);
END;
/この例では、sales#_data1およびsales#_data2ファイルをキャッシュから削除し、削除されたファイルによって使用されているすべての領域を割当て解除します。
この例では、#文字がエスケープ文字として定義されています。 '#'に続く'_'文字は、任意の1文字に一致するワイルドカードとしてではなく、リテラル・アンダースコアとして扱われます。
詳細は、DROP_BY_LIKEプロシージャを参照してください。
DBMS_EXT_TABLE_CACHE.RETIRE_FILESを使用して、指定した間隔に基づいて1つ以上のファイルを削除します。 たとえば:
BEGIN
DBMS_EXT_TABLE_CACHE.RETIRE_FILES (
owner => 'SALES',
table_name => 'STORE_SALES',
before => INTERVAL '30' DAY);
END;
/この例では、キャッシュから30日より古いファイルを削除し、削除されたファイルで使用されるすべての領域を割当て解除します。
詳細は、RETIRE_FILESプロシージャを参照してください。
前述の例では、キャッシュの保持中にキャッシュから1つ以上のファイルを削除します。 必要に応じて、ファイルを再度キャッシュにロードできます。 詳細は、外部表キャッシュへのファイルの移入を参照してください。
外部表キャッシュの無効化および有効化
外部表キャッシュを無効化および有効化する例を示します。
DBMS_EXT_TABLE_CACHE.DISABLEを実行して、データベースからの外部表キャッシュを無効にします。 キャッシュを無効にしても、キャッシュからデータは削除されません。かわりに、キャッシュにはDISABLEDのフラグが付けられ、オプティマイザではクエリー・リライトにキャッシュを使用できません。
例
BEGIN
DBMS_EXT_TABLE_CACHE.DISABLE (
owner => 'SALES',
table_name => 'STORE_SALES');
END;
/この例では、STORE_SALESキャッシュを無効にします。
詳細は、DISABLEプロシージャを参照してください。
外部表キャッシュを無効にしたら、DBMS_EXT_TABLE_CACHE.ENABLEを使用してキャッシュを有効にします。
BEGIN
DBMS_EXT_TABLE_CACHE.ENABLE (
owner => 'SALES',
table_name => 'STORE_SALES'
);
END;
/この例では、STORE_SALESキャッシュを有効にします。
詳細については、「ENABLEプロシージャ」を参照してください。
外部表キャッシュの削除
外部表キャッシュを削除する例を示します。
DBMS_EXT_TABLE_CACHE.DROP_CACHEを実行して、外部表キャッシュを削除します。 DBMS_EXT_TABLE_CACHE.DROP_CACHEプロシージャは、指定された外部表キャッシュをデータベースから削除し、キャッシュに関連付けられた記憶域を解放します。
例:
BEGIN
DBMS_EXT_TABLE_CACHE.DROP_CACHE (
owner => 'SALES',
table_name => 'STORE_SALES');
END;
/この例では、SALESスキーマからSTORE_SALESキャッシュを削除します。
キャッシュを削除すると、そのメタデータがデータ・ディクショナリから削除され、そのキャッシュされたすべてのデータが削除されます。
詳細は、DROP_CACHEプロシージャを参照してください。
USER_EXTERNAL_TAB_CACHESビューを問い合せて、キャッシュが削除されたことを確認します。 たとえば: SELECT external_table_name, cached
FROM user_external_tab_caches;詳細は、DBA_EXTERNAL_TAB_CACHESビューおよびUSER_EXTERNAL_TAB_CACHESビューを参照してください。
外部表キャッシュのオプション・サイズ設定プリファレンスの設定
DBMS_EXT_TABLE_CACHE.SET_USER_PROPERTYプロシージャを使用して、外部表キャッシュのサイズ設定プリファレンスおよび領域割当て制限を設定できます。
デフォルトでは、ユーザーの外部表キャッシュは無効になっています。 外部表キャッシュを有効化および作成するには、DBMS_EXT_TABLE_CACHE.CREATE_CACHEプロシージャを使用します。 キャッシュはデフォルト・スキーマに作成され、スキーマに定義された領域割当て制限を継承します。 ただし、DBMS_EXT_TABLE_CACHE.SET_USER_PROPERTYプロシージャを使用して、外部表キャッシュの領域割当て制限を定義することもできます。 DBMS_EXT_TABLE_CACHE.SET_USER_PROPERTYプロシージャのPROPERTY_NAMEおよびPROPERTY_VALUEパラメータを使用して、領域割当て制限を設定します。
PROPERTY_NAMEパラメータは、MAX_CACHE_SIZEおよびMAX_CACHE_PERCENT値を受け入れます。 MAX_CACHE_SIZEプロパティは、外部キャッシュの合計サイズをバイト単位で指定します。 MAX_CACHE_PERCENTプロパティは、指定されたユーザーの割当ての割合として、外部キャッシュの合計サイズを指定します。
-
MAX_CACHE_SIZE、MAX_CACHE_PERCENTおよび領域割当て制限が定義されている場合、MAX_CACHE_PERCENTはMAX_CACHE_SIZEより優先されます。 -
MAX_CACHE_SIZEのみが定義され、MAX_CACHE_PERCENTまたは領域割当て制限が定義されていない場合、MAX_CACHE_SIZEが優先されます。 -
領域割当て制限のみが定義され、
MAX_CACHE_SIZEおよびMAX_CACHE_PERCENTが定義されていない場合、キャッシュ・サイズ割当て制限のデフォルトは、スキーマ割当て制限の合計の10%になります。 -
MAX_CACHE_SIZE、MAX_CACHE_PERCENTまたは領域割当て制限が定義されていない場合、キャッシュ領域割当て制限はデフォルトでUNLIMITEDに設定されます。
例
BEGIN
DBMS_EXT_TABLE_CACHE.SET_USER_PROPERTY (
property_name => 'MAX_CACHE_PERCENT',
property_value => 50,
owner => 'SALES');
END;
/
この例では、SALESスキーマのキャッシュ・プリファレンスをMAX_CACHE_PERCENTに設定します。
property_valueは50%で、SALESスキーマのキャッシュ領域割当て制限が、SALESに定義されている合計領域割当て制限の最大50%であることを指定します。
BEGIN
DBMS_EXT_TABLE_CACHE.SET_USER_PROPERTY (
owner => 'SALES',
property_name => 'MAX_CACHE_SIZE',
property_value => 5368709120);
END;
/この例では、SALESスキーマのキャッシュ・プリファレンスをMAX_CACHE_SIZEに設定します。
property_valueは5368709120で、SALESスキーマの最大キャッシュ・サイズが最大5GBであることを指定します。
詳細は、SET_USER_PROPERTYプロシージャおよびCREATE_CACHEプロシージャを参照してください。
DBMS_EXT_TABLE_CACHE.GET_USER_PROPERTYを使用して、キャッシュ・サイズのプロパティを取得します。
例:
SET SERVEROUTPUT ON
DECLARE
max_cache_sz NUMBER,
BEGIN
max_cache_sz := DBMS_EXT_TABLE_CACHE.GET_USER_PROPERTY (
property_name => 'MAX_CACHE_SIZE',
owner => 'SALES');
END;
/詳細は、GET_USER_PROPERTYファンクションを参照してください。