AWS Glueデータ・カタログを使用した外部データの問合せ

Autonomous AI Databaseは、Amazon AWS Glue Data Catalogインスタンスと同期するためのシステムをサポートしています。

AWS Glueデータカタログを使用したクエリーについて

自律型AIデータベースを使用すると、Amazon Web Service (AWS) Glue Data Catalogメタデータと同期できます。データベース外部表は、Amazon Simple Storage Service (S3)に格納されたデータについてAWS Glueによって収集されたすべての表に対して、Autonomous AI Databaseによって自動的に作成されます。ユーザーは、外部データ・ソースのスキーマを手動で導出して外部表を作成することなく、Autonomous AI DatabaseからS3に格納されているデータを問い合せることができます。

Amazon AWS Glue Data Catalogは、データ専門家がデータを発見し、AWSクラウドでのデータガバナンスをサポートするのに役立つ、一元化されたメタデータ管理サービスです。自律型AIデータベース・インスタンスには、自動データ・カタログ・メタデータをAWS Glue Data Catalogと同期する機能があり、データベース・ユーザーは自律型AIデータベースをすぐに使用して、AWSクラウドに格納されているデータを問い合せることができます。

AWS Glueデータ・カタログとの同期には、OCIデータ・カタログとの同期と同じプロパティがあります。同期は動的であるため、基礎となるデータに対する変更に関してデータベースを最新の状態に保ち、数百から数千のテーブルを自動的に管理するため管理コストを削減できます。

AWS Glueデータカタログを使用したクエリーに関連する概念

Amazon Web Service (AWS) Glueデータカタログでクエリーするには、次の概念を理解する必要があります。

AWS Glueデータ・カタログ: データベース

AWS Glueデータベースは、論理グループに編成されたリレーショナルテーブル定義のコレクションを表します。各AWS Glueデータカタログインスタンスは、複数のデータベースを管理します。

AWS Glueデータ・カタログ: 表

AWS Glue表は、AWSクラウドに格納されているデータに対するリレーショナル表を表します。AWS Glueテーブルは、基になるデータのスキーマを定義し、列情報、パーティション情報、シリアライズ情報、ストレージ情報、統計情報、ユーザー定義メタデータ、およびその他のメタデータで構成されます。AWS Glueデータカタログ内のテーブルは、手動で作成することも、AWS Glueクローラを使用して自動的に作成することもできます。

接着剤のデータ カタログ: クローラー

クローラを使用して、AWS Glueデータカタログにテーブルを移入できます。これは、ほとんどのAWS Glueユーザーが使用する主な方法です。クローラは、1回の実行で複数のデータ・ストアをクロールできます。完了すると、クローラはデータ・カタログ内の1つ以上の表を作成または更新します。AWS Glueで定義した抽出、変換、およびロード(ETL)ジョブでは、これらのデータカタログテーブルをソースおよびターゲットとして使用します。ETLジョブは、ソースおよびターゲットのデータ・カタログ表で指定されたデータ・ストアに対する読取りと書込みを行います。

AWS Glueテーブルは、ユーザーが手動で作成することも、事前定義済みのクローラまたはカスタムクローラを使用して自動的に作成することもできます。クローラは、基礎となるデータ・ストア(Amazon S3など)に接続し、データのスキーマを導出するための分類子を起動し、推測されたメタデータを格納するためのAWS Glue表を作成します。AWS Glueは、CSV、JSON、Parquet、AVROなどの一般的なファイル・タイプの分類子を提供します。

自律型AIデータベースとAWS Glueのマッピング

同期プロセス中に、AWS Glue Data CatalogデータベースおよびAmazon S3上の表から導出されたAutonomous AI Databaseで外部表が作成されます。

AWS Glueは、収集したメタデータをデータベースやテーブルに整理します。AWS Glueデータベースは、リレーショナルテーブル定義のコレクションです。AWS Glueテーブル。テーブルに関連付けられたファイルの共通スキーマとプロパティーを記述します。

AWS Glueは、属性を表すためのリレーショナルモデルに従います。階層スキーマをリレーショナル・スキーマにマップする場合、AWS Glueは半構造化データのスキーマを推測し、ETLプロセスを使用してリレーショナル・スキーマにデータをフラット化します。

次の表に、OCIデータ・カタログの概念とAWS Glue Data Catalogの概念の間のマッピングを示します。

AWS Glueデータカタログでクエリーするためのユーザーワークフロー

AWS Glue Data CatalogでAWS S3データを問い合せるための基本的なユーザー・ワークフローには、AWS Glue Data Catalogへの接続、自律型AIデータベースとの同期による外部表の自動作成、およびS3データの問合せが含まれます。

データベース・データ・カタログ管理者は、Autonomous AI DatabaseインスタンスとAWS Glue Data Catalogインスタンス間の接続を作成し、AWS Glue Data CatalogとAutonomous AI Databaseとの間で同期(同期)を構成および実行します。自律型AIデータベースでは、S3に格納されているデータについて、AWS Glueによって収集された表の外部表が自動的に作成されます。

データベース・データ・カタログ問合せ管理またはデータベース管理では、生成された外部表へのREADアクセス権が付与されるため、データ・アナリストや他のデータベース・ユーザーは、外部データ・ソースのスキーマを手動で導出して外部表を作成することなく、Autonomous AI Databaseを参照および問合せできます。

ユーザー

次の表では、ユーザーワークフローアクションを実行するさまざまなタイプのユーザーについて説明します。

ユーザー・ワークフロー

次の表では、ワークフローに含まれる各アクション、およびアクションを実行できるユーザーのタイプについて説明します。

ノート

ノート: DBMS_DCATパッケージは、AWS Glueデータ・カタログを使用してAWS S3オブジェクト・ストレージを問い合せるために必要なタスクを実行するために使用できます。「DBMS_DCATパッケージ」を参照してください。

例: AWS Glueデータカタログを使用したクエリー

この例では、AWS Glueデータカタログを使用して、Amazon Simple Storage Service (Amazon S3)に保存されているデータセットに対してクエリーを実行するプロセスを段階的に説明します。

この例では、AWS Glueデータカタログのメタデータが検査され、以前にクロールされ、データカタログに存在する Amazon S3オブジェクトが確認されます。自律型AIデータベースは、AWS Glue Data CatalogおよびAmazon S3に関連付けられています。データ・カタログはAutonomous AI Databaseと同期され、Amazon S3に格納されているデータセットを介して外部表を作成します。外部表は、Amazon S3のデータセットを問い合せるために使用されます。

1. AWS Glue Data Catalogでメタデータを検査します。

   1. AWS Glueコンソールを起動します。

   2. 既存のオブジェクトを検索するには、データ・カタログ、データベースおよび表に移動します。

      この例では、次に示すように、AWS Glueが以前にクロールしてテーブルを作成したオブジェクトが Amazon S3に存在します。

      

      図glue_tables.pngの説明

2. AWS GlueをAutonomous AI Databaseに関連付けます。

   1. Autonomous AI Databaseで資格証明を作成します。

      次のプロシージャ・コールには、Amazon S3の基礎となるデータへのアクセスをAutonomous AI Databaseに提供するためのアクセスIDおよび秘密キーが含まれます。

       <pre class="copy"><code>exec dbms_cloud.create_credential(&#39;CRED_AWS&#39;,&#39;&lt;access id&gt;&#39;, &#39;&lt;access key&gt;&#39;);</code></pre>
      

   2. 資格証明をAWS Glue Data CatalogおよびAmazon S3オブジェクト・ストレージに関連付けます。

      これらのプロシージャ・コールは、それぞれデータ・カタログとオブジェクト・ストレージを資格証明に関連付けます。

       <pre class="copy"><code>exec dbms_dcat.set_data_catalog_credential(&#39;CRED_AWS&#39;); exec dbms_dcat.set_object_store_credential(&#39;CRED_AWS&#39;);</code></pre>
      

   3. Glueが動作しているAWSリージョンを設定します。

       <pre class="copy"><code>exec dbms_dcat.set_data_catalog_conn(region =&gt; &#39;us-west-2&#39;, catalog_type=&gt;&#39;AWS_GLUE&#39;);</code></pre>
      

3. メタデータを同期して、AWS Glueデータベースおよび表から導出されたAutonomous AI Databaseに外部表を作成します。

   1. アソシエーションが完了したら、all_glue_databasesビューを使用して、AWS Glueデータ・カタログ内のデータベースを検索します。

       <pre class="copy"><code>select * from all_glue_databases order by name;</code></pre>
      

   2. all_glue_tablesビューを使用して、同期可能な表のリストを取得します。

       <pre class="copy"><code>select * from all_glue_tables order by database_name, name;</code></pre>
      

      

      図glue_table_list.pngの説明

   3. Autonomous AI Databaseを、parqデータベースにある2つの表storeおよびitemと同期します。

       <pre class="copy"><code>begin dbms_dcat.run_sync(     synced_objects =&gt; &#39;         {             &quot;database_list&quot;: [                 {                 &quot;database&quot;: &quot;parq&quot;,                 &quot;table_list&quot;: [&quot;store&quot;,&quot;item&quot;]                 }             ]         }&#39;, error_semantics =&gt; &#39;STOP_ON_ERROR&#39;); end; /</code></pre>
      

4. Autonomous AI Databaseで新しいオブジェクトを検査し、S3上で問合せを実行します。

   1. SQL Developerを使用して、前の同期操作によって作成された新しいオブジェクトを表示します。

      GLUE$PARQ_TPCDS_ORACLE_PARQスキーマは、dbms_dcat.run_syncプロシージャ・コールによって自動的に生成および名前が付けられました。

      

      図glue_sql_dev.pngの説明

   2. Amazon S3のデータセット・ストアに対してSQL問合せを実行します。

       <pre class="copy"><code>SELECT * FROM glue$parq_tpcds_oracle_parq.store;</code></pre>