Oracle Object Storageからの収集

収集とは、データ・アセットからデータ・カタログに技術メタデータを抽出するプロセスです。データ・アセットはデータ・ソースを表します。たとえば、データベース、オブジェクト・ストア、ファイルまたはドキュメント・ストア、メッセージ・キュー、アプリケーションなどです。

このチュートリアルでは:

データ・カタログで、ポリシーが作成されているテナンシ内の任意のコンパートメントの任意のバケットにあるOracle Object Storage内の任意のオブジェクトにアクセスできるようにします。
Oracle Object Storageデータ・アセットを作成します。
データ・アセットに対して1つのデフォルト接続を追加します。
収集ジョブを即時に実行して、データ・アセットを収集します。

重要

オブジェクト・ストレージ・ファイルは、論理データ・エンティティとして収集できます。

開始する前に

このチュートリアルを正常に実行するには、次のものが必要です:

Oracle Cloud Infrastructureアカウント。Oracle Cloud Infrastructureへのサインアップを参照してください。
データ・カタログ・リソースを使用するためのアクセス権。前提条件およびポリシーの例を参照してください。
作成されたデータ・カタログ・インスタンス。データ・カタログ・インスタンスの作成を参照してください。
特定のデータ・カタログOCIDをグループのリソースとして含む動的グループ(data-catalog-dynamic-groupなど)を作成します。
例:
```
Any {resource.id = 'ocid.datacatalog.oc1..<unique_ID>'}
```

1. アクセス・ポリシーの作成

データ・カタログでオブジェクト・ストレージ・リソースにアクセスできるようにするポリシーを作成します。

少なくとも、個々のすべてのリソース・タイプobjectstorage-namespaces、bucketsおよびobjectsに対する、またはオブジェクト・ストレージ集計リソース・タイプobject-familyに対するREAD権限が必要です。

オブジェクト・ストレージ集約リソース・タイプobject-familyへのREAD権限を付与するアクセス・ポリシーを作成するには、次のステップを実行します:

ナビゲーション・メニューを開き、「アイデンティティとセキュリティ」をクリックします。「アイデンティティ」で、「ポリシー」をクリックします。
「ポリシー」ページで、「ポリシーの作成」をクリックします。
「ポリシーの作成」パネルで、次の詳細を入力します:
- 名前: ポリシーの一意の名前を入力します。この名前は、テナンシ内のすべてのポリシー間で一意である必要があります。名前は後で変更できません。たとえば、data-catalog-dynamic-groupです。
- 説明: テナンシ内の任意のコンパートメントのオブジェクト・ストレージ・リソースへのアクセス権の付与などの説明を入力します。
- コンパートメント: ポリシーを作成するコンパートメントを選択します。
- ポリシー・ビルダー: このセクションでは、スライダを「手動エディタの表示」に移動して、ポリシー・ルールを入力します。たとえば、data-catalog-dynamic-group動的グループには、次のポリシー・ルールを入力します:
  allow dynamic-group data-catalog-dynamic-group to read object-family in tenancy
  ノート
  
  このポリシーは、ポリシーが作成されたテナンシ内の任意のバケット、任意のコンパートメントにある任意のオブジェクトへのアクセスを許可します。その他の例は、ポリシーの例を参照してください。
「作成」をクリックします。

データ・カタログでオブジェクト・ストレージ・リソースにアクセスできるようにするポリシーが正常に作成されました。

2. データ・アセットの作成

これで、Oracle Object Storageデータ・ソースをデータ・アセット としてデータ・カタログに登録できます。

Oracle Object Storageデータ・アセットを作成するには、次のステップを実行します:

ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「データ・レイク」で、「データ・カタログ」をクリックします。
データ・アセットを作成するデータ・カタログ・インスタンスをクリックします。
データ・カタログ・インスタンスのホーム・ページで、「クイック・アクション」タイルから「データ・アセットの作成」をクリックします。

ノート

データ・カタログ・インスタンスの作成後、「ホーム」タブに初めてアクセスすると、「データ・アセット」タイルに「データ・アセットの作成」ボタンが表示されます。

「データ・アセットの作成」パネルで、次の表の説明に従って詳細を入力します:


フィールド	説明
名前	データ・アセットを一意に識別する名前を入力します。名前は後で編集できます。次の特殊文字を名前に使用することはできません: & < > " ' / \ = ; 「名前」は、データ・カタログの検索可能なフィールドです。
説明	このデータ・アセットを作成するニーズまたは目的を指定します。
タイプ	「Oracle Object Storage」を選択します。
URL	次の書式で、Oracle Object Storageリソースのswift URIを入力します: `https://swiftobjectstorage.<region-identifier>.oraclecloud.com` 例: `https://swiftobjectstorage.us-phoenix-1.oraclecloud.com/`
ネームスペース	指定したOracle Cloud Infrastructure Object Storageリソースのオブジェクト・ストレージ・ネームスペースを入力します。コンソールでオブジェクト・ストレージ・ネームスペース文字列を表示するには、「プロファイル」メニューで「テナンシ: < your_tenancy_name>」をクリックします。ネームスペースは「オブジェクト・ストレージ設定」の下にリストされます。

「作成」をクリックします。

Oracle Object Storageデータ・アセットが正常に作成されました。

3. 接続の追加

Oracle Object Storageデータ・アセットの作成後、データ・アセットの接続を作成します。

Oracle Object Storageデータ・アセットの接続を追加するには、次のステップに従います:

「ホーム」タブで、「データ・アセット」をクリックします。
「データ・アセット」リストで、作成したOracle Object Storageデータ・アセットを選択します。
「データ・アセットの詳細」ページにある「サマリー」タブの「接続情報」で、「接続の追加」をクリックします。

「接続の追加」パネルで、次の表の説明に従って詳細を入力します:


フィールド	説明
名前	接続の一意の名前を入力します。
説明	接続の簡単な説明を入力します。
タイプ	次のいずれかを選択します: リソース・プリンシパル - リソース・プリンシパルは、推奨される接続タイプです。Oracle Object Storageデータ・アセットのリソース・プリンシパル接続を作成する前に、データ・カタログがオブジェクト・ストレージ・リソースにアクセスできるようにするポリシーを作成する必要があります。事前認証済リクエスト - この接続タイプを選択して、事前認証済リクエストを介してアクセスできるパブリックまたはプライベートのオブジェクト・ストレージ・バケットを収集します。この接続タイプを選択すると、「事前認証済リクエストのURL」フィールドが表示され、オブジェクト・ストレージ・バケットにアクセスするための事前認証済リクエストのURLを入力します。このタイプの接続の使用方法の詳細は、事前認証済リクエストの使用を参照してください。
OCIリージョン	オブジェクト・ストレージ・リソースのリージョン識別子を入力します。コンソールでリージョンのリージョン識別子を表示するには、「プロファイル」メニューから「テナンシ: <your_tenancy_name>」をクリックします。「リージョンの管理」情報バナーから、「リージョンの管理」をクリックします。リージョン名および識別子がリストされます。
コンパートメント	オブジェクト・ストレージ・リソースのコンパートメントを選択します。コンパートメントを表示するには、コンソールでナビゲーション・メニューを開き、「アイデンティティとセキュリティ」をクリックします。「アイデンティティ」で、「コンパートメント」をクリックします。オブジェクト・ストレージ・リソースのコンパートメント・リンクをクリックします。「コンパートメントの詳細」ページで、OCIDを「コンパートメント情報」タブの下にコピーします。
これをデータ・アセットのデフォルト接続にします。	この接続をデータ・アセットのデフォルト接続にするには、このチェック・ボックスを選択します。
テスト接続	ボタンをクリックして、接続をテストします。

「追加」をクリックします。

4. データ・アセットの収集

これで、Oracle Object Storageデータ・アセットを収集する準備ができました。

Oracle Object Storageデータ・アセットを収集するには、次のステップを実行します:

データ・アセットの詳細ページで、「収集」をクリックします。
「接続の選択」ページが表示され、デフォルトの接続が選択されています。
「次へ」をクリックします。
「データ・エンティティの選択」ページが表示されます。
「使用可能なバケット」セクションで、収集するデータ・エンティティを追加します。データ・エンティティを追加するには、その横にある追加アイコンをクリックします。すべてのデータ・エンティティを収集するには、「すべて追加」をクリックします。
このページで実行できるその他の操作は次のとおりです:
- 使用可能なデータ・エンティティからデータ・エンティティを検索するには、「バケット/データ・エンティティをフィルタ」ボックスを使用します。
- ページ・ナビゲーション・アイコンを使用して、すべてのデータ・エンティティを参照します。
- 選択したデータ・エンティティを収集ジョブから削除するには、データ・エンティティの横にある削除アイコンをクリックします。
- 選択したすべてのデータ・エンティティを削除するには、「すべて削除」をクリックします。
「次へ」をクリックします。
「ジョブの作成」ページが表示されます。
このページで、次を行います:
1. ジョブ名: 収集ジョブを識別する一意の名前を入力します。
2. ジョブ説明: 説明を入力します。
3. 増分収集: 以降にこの収集ジョブを実行する場合、最初の収集ジョブの実行から変更されたデータ・エンティティのみ収集するには、このチェック・ボックスを選択します。
4. 認識できないファイルを含める: このチェック・ボックスを選択すると、アーカイブ済ファイルのみで構成される論理データ・エンティティ、またはデータ・カタログでサポートされていないその他のファイルが収集されます。たとえば、.log、.txt、.sh、.jar、.pdfです。
5. 一致ファイルのみを含む: 割り当てられたファイル名パターンに一致するファイルのみをデータ・カタログで収集する場合は、このチェック・ボックスを選択します。このチェック・ボックスを選択すると、割り当てられたファイル名パターンと一致しないファイルは収集時に無視されます。これらはスキップ数に追加されます。
6. 実行時間: このセクションでは、次のいずれかのオプションを選択します:
  - 今すぐジョブを実行: 収集ジョブを作成し、ただちに実行します。
  - ジョブの実行をスケジュール: 収集ジョブをスケジュールするための追加のフィールドを表示します。スケジュールの名前と説明を入力します。ジョブの実行頻度を指定します。選択肢は、「毎時」、「毎日」、「毎週」および「毎月」です。最後に、ジョブの開始時間と終了時間を選択します。
  - ジョブ構成を後で保存: データ・アセットを収集するジョブを作成しますが、ジョブは実行しません。ジョブは、後で「ジョブ」ページで実行またはスケジュールできます。
「ジョブの作成」をクリックします。
Oracle Object Storageデータ・アセットを収集するジョブが正常に作成されました。ジョブは「ジョブ」ページにリストされます。

データ・アセットは、選択したスケジュールに応じて正常に収集されます。「ジョブ」ページでジョブ名をクリックすると、収集ジョブの詳細を確認できます。

次の手順

これで、データ・アセットの探索、用語集の作成、およびデータ・オブジェクトへの用語とタグのリンクを実行できます。