外部カタログ

外部カタログは、データがOracle AI Data Platform Workbenchの外部の場所から取得されるカタログです。

LiveLabsスプリント

外部カタログは、Oracle Autonomous AI Lakehouse、Oracle AI Database、Oracle Autonomous AI Transaction Processingなどのソースに接続して、データをAI Data Platform Workbenchに抽出します。外部カタログは、外部カタログの作成時に提供された資格証明を使用して、外部ソースを問い合せます。データ・ソースの詳細は、内部ソースを参照してください。

For example, if you create an external catalog for an Autonomous AI Lakehouse instance where the Autonomous AI Lakehouse user credentials used have access to schema1 but not schema2, only schema1 appears in the external catalog. 外部カタログに対する権限を持つユーザーは、Autonomous AI Lakehouseユーザーがアクセスできるスキーマのみを問い合せることができます。

ノート:

AIデータ・プラットフォーム・ワークベンチでは、プラガブル・データベース(PDB)間で共有されるスキーマおよび表から、またはOracle管理スキーマおよび表からデータを収集することはサポートされません。

Autonomous AI LakehouseおよびAutonomous AI Transaction Processingに必要な権限

AIデータ・プラットフォーム・ワークベンチで外部カタログを作成する場合、接続に使用するユーザー資格証明には、少なくとも次の権限が必要です:

• CREATE SESSION: データベースに接続する
• 最小権限の付与または専用の読取りロールによる、必要なオブジェクト(表/ビュー/外部表)に対するSELECTアクセス
• READ、WRITE on DIRECTORY DATA_PUMP_DIR

外部カタログにデータを挿入する場合、または新しい表を作成する場合は、ユーザーがDWROLEの一部であることを確認します。詳細は、Oracle Autonomous AI Transaction ProcessingドキュメントのAutonomous AI Databaseでのユーザー権限の管理- クライアント・ツールとの接続を参照してください。

制限事項

DELETEおよびUPDATE操作は、外部カタログではサポートされていません。検出および問合せアクセスには、外部カタログ表を使用します。

外部カタログの作成に使用された資格証明にDDL文を実行する権限がある場合でも、DDLはサポートされていません。

外部カタログの作成

AIデータ・プラットフォーム・ワークベンチから外部ソースにカタログを接続できます。

1. 左側のナビゲーション・ペインで「作成」をクリックし、「カタログ」を選択します。「マスター・カタログ」にナビゲートし、 「マスター・カタログへのカタログの作成」をクリックすることもできます。
2. 「名前」および「説明」フィールドに入力します。
3. 「カタログ・タイプ」ドロップダウン・リストから、「外部カタログ」を選択します。
4. 外部ソース・タイプを選択します。
   • Oracle Autonomous AI Lakehouseには、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Oracle Autonomous AI Transaction Processingには、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Oracle AI Databaseの場合は、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Kafkaには、ブートストラップ・サーバーを指定します。複数のサーバーはカンマで区切ります。(近日公開)
5. ユーザー名およびパスワードを入力します。
6. SSLはデフォルトで有効です。SSLを無効にする場合はボックスをクリアします。
7. 「作成」をクリックします。
   外部ソースからデータを抽出している外部カタログには、回転する円のアイコンが表示されます。
   

   

   
   

   ジョブ実行から進捗をモニターすることもできます。

プライベート・ネットワークの外部カタログの作成

プライベート・ネットワーク内のデータ・ソースにアクセスする外部カタログを作成できます。

1. 左側のナビゲーション・ペインで「作成」をクリックし、「カタログ」を選択します。「マスター・カタログ」にナビゲートし、 「マスター・カタログへのカタログの作成」をクリックすることもできます。
2. 「名前」および「説明」フィールドに入力します。
3. 「カタログ・タイプ」ドロップダウン・リストから、「外部カタログ」を選択します。
4. 外部ソース・タイプを選択します。
   • Oracle Autonomous AI Lakehouseには、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Oracle Autonomous AI Transaction Processingには、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Oracle AI Databaseの場合は、ウォレット・ファイルまたはインスタンス構成のいずれかを指定します。
   • Oracle Exadata Database Serviceには、ホスト、ポートおよびサービス名(SID)を指定します。
   • Kafkaの場合は、ブートストラップ・サーバーを指定します。複数のサーバーはカンマで区切ります。(近日公開)
5. ユーザー名およびパスワードを入力します。
6. SSLはデフォルトで有効です。SSLを無効にする場合はボックスをクリアします。
7. 「プライベート・ネットワークの有効化」を選択します。
8. 必要なプライベート・ネットワーク構成を持つワークスペースを選択します。
   プライベート・ネットワーク用に構成されたワークスペースの設定の詳細は、「プライベート・ネットワーク・アクセスが有効なワークスペースの作成」を参照してください。
9. 「作成」をクリックします。
   外部ソースからデータを抽出している外部カタログには、回転する円のアイコンが表示されます。
   

   

   
   

   ジョブ実行から進捗をモニターすることもできます。

外部データ・カタログのリフレッシュ

すべての外部カタログのリフレッシュをトリガーして、ソースからコンテンツを更新できます。

1. ホーム・ページで、「マスター・カタログ」をクリックします。
2. リフレッシュする外部カタログを選択します。
3. 「リフレッシュ」をクリックします。
   「リフレッシュ」をクリックすると、ワークフローがバックグラウンドで開始され、外部カタログからメタデータを抽出および更新します。外部ソースからデータを抽出しているカタログには、回転する円のアイコンが表示されます。
   

   

   
   

   ジョブ実行から進捗をモニターすることもできます。

SQLを使用した外部カタログのリフレッシュ

SQL文法を使用して、外部カタログ、スキーマおよび表のメタデータをリフレッシュできます。

外部カタログをリフレッシュするには、次を使用します。

REFRESH EXTERNAL CATALOG <<catalog_name>>

外部カタログのスキーマをリフレッシュするには、次を使用します。

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

外部カタログのスキーマ内の表をリフレッシュするには、次を使用します。

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

詳細は、SQL文法を参照してください。

外部カタログ摘要の編集

外部カタログの内容または目的が変更された場合は、作成後にその説明を編集できます。

1. ホーム・ページで、「マスター・カタログ」をクリックします。
2. 外部カタログの横にある 「アクション」をクリックし、「説明の編集」をクリックします。
   
   

   

   
   
3. カタログの説明を変更し、「保存」をクリックします。

外部カタログの名前変更

カタログのコンテンツまたは目的が変更されたときに、外部カタログの名前を変更して説明的なラベルを提供できます。

デフォルト・カタログの名前は変更できません。

1. ホーム・ページで、「マスター・カタログ」をクリックします。
2. カタログの横にある 「アクション」をクリックし、「名前変更」をクリックします。
   
   

   

   
   
3. カタログ名を変更し、「保存」をクリックします。

外部カタログ構成の編集

外部カタログの構成を編集して、必要なパスワードを更新できます。

1. ホーム・ページで、「マスター・カタログ」をクリックします。
2. カタログの横にある 「アクション」をクリックし、「構成の編集」をクリックします。
3. 外部カタログの新しいパスワードを入力し、「保存」をクリックします。

ノートブックの外部カタログ表へのアクセス

3つの部分からなる名前を使用して、ノートブックの外部カタログから表にアクセスできます。

プッシュ・ダウンはデフォルトで有効になっており、集計、投影、フィルタ、列プルーニング、topN、制限、オフセット、ブール演算子、論理演算子、関係演算子などの操作がソースにプッシュ・ダウンされます。

1. ノートブックのコード・インタフェースに移動します。
2. 外部カタログ表からデータを読み取るには、次を使用します。

   df = spark.read.table("<<catalog_name>>.<<schema_name>>.<<table_name>>")

3. 外部カタログにデータを書き込むには、次の4つのオプションがあります。

   Option#1
   df.write.saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#2
   df.write.mode("append").insertInto("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#3
   df.write.mode("overwrite").saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#4
   df.write.option('write.mode', 'MERGE').option('write.merge.keys','merge column(s)').insertInto('<<catalog_name>>.<<schema_name>>.<<table_name>>')

外部カタログの削除

外部カタログを削除して、ローカルに格納されているすべてのメタデータを削除できます。

外部カタログを削除すると、ローカルに格納されたメタデータのみが削除されます。データ・ソースのデータは影響を受けません。

1. ホーム・ページで、「マスター・カタログ」をクリックします。
2. カタログの横にある 「アクション」をクリックし、「削除」をクリックします。
   
   

   

   
   
3. 「カタログの削除の確認」を選択します。
4. 「削除」をクリックします