31 Oracle Storage Cloud Service

この章では、Oracle Data IntegratorでのOracle Storage Cloud Serviceの使用方法について説明します。

注意:

この章は、Data Integration Platform Cloudにのみ適用されます。

この章の内容は次のとおりです。

• 概要

• インストールおよび構成

• トポロジの設定

• Oracle Storage Cloud Serviceツールの使用

31.1 概要

Oracle Storage Cloud Serviceは、いつでもどこからでもアクセスできる非構造化データを格納するための信頼性の高いセキュアでスケーラブルなオブジェクト記憶域ソリューションを提供します。これは、BDPやBICSなどの多くのOPCサービスに対するデータ消費のためのゲートウェイとして機能します。これらのクラウド・サービスは、Oracle Storage Cloud Serviceからファイルを直接取得するため、Oracle Storage Cloud Serviceとの統合は、Oracle Data Integratorを使用してエンドツーエンドの統合フローを管理するために非常に重要かつ有益です。

Oracle Data Integrator (ODI)では、Oracle Storage Cloud Serviceがシームレスに統合されます。この統合により、ODIからOracle Storage Cloud Serviceに接続して、Oracle Storage Cloud Serviceに存在するローカル・ディレクトリまたはHDFSを対象にファイル/オブジェクトをアップロードまたはダウンロードできます。

31.1.1 概念

Oracle Storage Cloud ServiceはInfrastructure as a Service (IaaS)製品で、ファイルと構造化されていないデータに対して、企業グレードの、大規模なオブジェクト記憶域ソリューションを提供します。

Oracle Storage Cloud Serviceは、次の概念で構成されます。

Oracle Storage Cloud Service階層

Oracle Storage Cloud Serviceでは、データは、フラットなコンテナ階層内のオブジェクトとして格納されます。コンテナ内のオブジェクトは、通常、ファイルをアップロードして作成するか、一時的な非構造化データから作成できます。単一のオブジェクトで最大5GBのデータを保持できますが、複数のオブジェクトをリンクして5GBを超える連続データを保持できます。

コンテナはユーザーが作成するリソースであり、コンテナに割当て制限を指定しないかぎり、無制限の数のオブジェクトを保持できます。コンテナはネストできない点に注意してください。オブジェクトとコンテナの両方でカスタム・メタデータを定義できます。

記憶域タイプ

この統合では、Oracle Standard StorageとArchive Storageの両方がサポートされます。

• Standard Storage - 頻繁にアクセスされる1つ以上のファイルを格納するために役立ちます。

• Archive Storage — 電子メール・アーカイブ、データ・バックアップ、デジタル・ビデオなど、頻繁にアクセスされるわけではないデータを格納するために最適です。

31.2 インストールおよび構成

Oracle Storage Cloud Serviceテクノロジでの作業を開始する前に、この項の情報を必ず読んでください。

• システム要件および動作要件

• テクノロジ固有の要件

31.2.1 システム要件および動作要件

インストールを実行する前に、システム要件および動作保証のドキュメントを読み、インストールする製品の最小インストール要件を環境が満たしていることを確認します。

サポートされているプラットフォームおよびバージョンのリストには、次のOracle Technical Network (OTN)からアクセスできます: http://www.oracle.com/technetwork/middleware/data-integrator/documentation/index.html

31.2.2 テクノロジ固有の要件

ODIでOracle Storage Cloud Serviceを使用する場合のテクノロジ固有の要件は、次のとおりです。

• Oracle Object Storageと同様に定義されたOracle Storage Cloud Serviceと呼ばれる専用のビルトイン・テクノロジを保持している必要があります。

• ODIユーザーは、このテクノロジからデータ・サーバーを作成し、作成したデータ・サーバーに対応する物理スキーマと論理スキーマを作成できる必要があります。これらの物理スキーマと論理スキーマは、Oracle Storage Cloud Service統合でサポートされるODIツールによって、ファイル/オブジェクトをアップロードおよびダウンロードするために使用されます。

このテクノロジでサポートされているデータ型は、次のとおりです。

• 数値

• 文字列

• 日付

Oracleを対象とするデータ型マッピングは、次のデータ型に対して定義されます(ファイル・データ・サーバーのマッピングと同様です)。

31.3 トポロジの設定

トポロジの設定には次が含まれます。

• Oracle Storage Cloud Serviceデータ・サーバーの作成

• Oracle Storage Cloud Service物理スキーマの作成

31.3.1 Oracle Storage Cloud Serviceデータ・サーバーの作成

『Oracle Data Integratorの管理』のデータ・サーバーの作成に関する項に記載されている標準の手順で、Oracle Storage Cloud Serviceテクノロジ用データ・サーバーを作成します。この項では、Oracle Storage Cloud Serviceデータ・サーバーの定義に関する必須または固有のフィールドのみについて説明します。

• 「定義」タブ:

  1. データ・サーバー

     • 名前 - Oracle Data Integratorに表示されるデータ・サーバーの名前。

  2. 接続

     • サービスURL - Oracle Cloud Storage ServiceのURL。たとえば: https://<identity-domain>.storage.oraclecloud.com

     • サービス名 - 作成したサービスURLのサービス名を指定します。たとえば - Storage

     • ユーザー名 - Oracle Storage Cloud Serviceにログインしているユーザーの名前

       ノート:

       ユーザー名は、大文字で始める必要があり、実際のサーバー名は使用できません。

     • パスワード - ログイン・ユーザーのパスワード

     • アイデンティティ・ドメイン - 作成した記憶域インスタンスに固有のドメインを指定します。たとえば – https://<identity-domain>.storage.oraclecloud.com

31.3.2 Oracle Storage Cloud Service物理スキーマの作成

『Oracle Data Integratorの管理』の物理スキーマの作成に関する項の説明に従って、標準の手順を使用してOracle Storage Cloud Service物理スキーマを作成します。

Oracle Storage Cloud Service固有のパラメータは、次のとおりです。

• 名前— 作成される物理スキーマの名前。

• コンテナ名 — 作成した物理スキーマを関連付けるコンテナを指定します。「コンテナ名」ドロップダウン・リストから必要なコンテナを選択します。

• ディレクトリ(作業スキーマ) — これは、Oracle Storage Cloud Serviceからファイルを取得するために使用されるローカル・システムの一時フォルダです。ディレクトリが存在していない場合は、作成されます。ローカル・システムで必要な場所を指定します。

『Oracle Data Integratorの管理』の論理スキーマの作成に関する項の説明に従って、標準の手順を使用してこの物理スキーマ用の論理スキーマを作成し、適切なコンテキストに関連付けます。

作成された論理スキーマは、Oracle Storageインスタンスの詳細を取得するために使用します。これらの詳細は、Oracle Storage Cloud Serviceテクノロジに接続するために使用されます。

。

31.4 Oracle Storage Cloud Serviceツールの使用

次のツールを使用して、Oracle Storage Cloud Serviceを対象にファイルをアップロードおよびダウンロードできます。

• Oracle Storage Cloud Serviceへのファイル/オブジェクトのアップロード

• Oracle Storage Cloud Serviceからのファイル/オブジェクトのダウンロード

ノート:

ODI Studioは別として、コマンドラインからもODI Storage Cloud Serviceツールを使用できます。

31.4.1 Oracle Storage Cloud Serviceへのファイル/オブジェクトのアップロード

ODI Storage Cloud Serviceアップロード・ツールは、HDFSまたはローカル・ファイル・システムからOracle Storage Cloud Serviceに1つ以上のファイルまたはディレクトリ全体をアップロードするために使用します。

Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードするには、次のようにします。

1. 新しいプロジェクトを作成します。

   プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。

2. 作成したプロジェクト・フォルダの下に、パッケージを作成します。

   パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。

3. ツールボックスに含まれるOdiStorageCSUploadツールを選択します。それを作成したパッケージに追加します。

   ノート:

   「一般」タブにツールのすべてのパラメータが表示されます。

   必要なパラメータを構成します。

   表31-1 ODI Storage Cloud Serviceアップロード・ツールのパラメータ

   パラメータ	説明
   ターゲット論理スキーマ	Oracle Storage Cloud Serviceインスタンスのターゲット倫理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
   ソース論理スキーマ	Oracle Storage Cloud ServiceにローカルまたはHDFSファイルをアップロードするためにファイルまたはHDFSデータ・サーバーで構成されたソース論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
   ファイル名フィルタ	Oracle Storage Cloud Serviceに再帰的にアップロードする1つ以上のファイルまたはディレクトリを指定するフィールド。デリミタとして「|」で区切られたファイルのリストもサポートされます。準拠するパターンは次のとおりです。 *.txt - 末尾が.txtのすべてのファイルをアップロードします test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをアップロードします *test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをアップロードします test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをアップロードします test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをアップロードします test.xml - 1つのファイルのみアップロードします
   上書き	このパラメータは、アップロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
   エラー発生時の再試行	これは、アップロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
   再試行間隔(秒単位)	再試行間隔は、何秒ごとに再試行を実行するかを示します。
   暗号化キー	これは、Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードする際にオブジェクトを暗号化するために使用されるユーザー指定のキーです。 ノート: アップロード時にオブジェクトを暗号化する場合、このパラメータはNULLにできません。

   前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSUploadツールに関する項を参照してください。

4. パッケージを保存して実行します。

   必要なファイルがソース・ディレクトリからOracle Storage Cloud Serviceのターゲット・コンテナにアップロードされます。

5. アップロードに成功すると、「詳細」タブでこのアップロード操作の完全なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでアップロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。

   詳細は、次のとおりです。

   • ソース・ディレクトリ: <ソース・ディレクトリ・パス>

   • ターゲット・コンテナ: <記憶域コンテナ名>

   • 使用されているフィルタ: <入力フィルタ>

   • アップロードされたファイルの数: <アップロードされたファイルの合計数>

   • アップロードされたファイル: <File1, File2>

   • 失敗したファイルの数: <アップロードされなかったファイルの合計数>

   • 失敗したファイル: <File1, File2>

31.4.2 Oracle Storage Cloud Serviceからのファイル/オブジェクトのダウンロード

ODI Storage Cloud Serviceダウンロード・ツールは、Oracle Storage Cloud ServiceからHDFSまたはローカル・ファイル・システムに1つ以上のファイルまたはディレクトリ全体をダウンロードするために使用します。HDFSファイルの場合、Oracle Storage Cloud Serviceからのファイルは、最初にローカル・ディレクトリ(Oracle Storage Cloud Service物理スキーマの「ディレクトリ(作業スキーマ)」で指定)にコピーされ、次にローカル・ディレクトリからHDFSにファイルがダウンロードされます。

Oracle Storage Cloud Serviceからファイルまたはディレクトリをダウンロードするには、次のようにします。

• 新しいプロジェクトを作成します

  プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。

• 作成したプロジェクト・フォルダの下に、パッケージを作成します

  パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。

• ツールボックスに含まれるOdiStorageCSDownloadツールを選択します。それを作成したパッケージに追加します。

  ノート:

  「一般」タブにツールのすべてのパラメータが表示されます。

• 必要なパラメータを構成します。

  表31-2 ODI Storge CSダウンロード・ツールのパラメータ

  パラメータ	説明
  ソース論理スキーマ	Oracle Storage Cloud Serviceインスタンスで構成されたソース論理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
  ターゲット論理スキーマ	Oracle Storage Cloud ServiceからローカルまたはHDFSファイルをダウンロードするためにファイルまたはHDFSデータ・サーバーで構成された論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
  ファイル名フィルタ	Oracle Storage Cloud Serviceから再帰的にダウンロードする1つ以上のファイルまたはディレクトリを指定するフィールド。区切られたファイルのリスト用にデリミタの「|」もサポートされます。準拠するパターンは次のとおりです。 *.txt - 末尾が.txtのすべてのファイルをダウンロードします test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをダウンロードします *test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをダウンロードします test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをダウンロードします test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをダウンロードします test.xml - 1つのファイルのみダウンロードします
  上書き	このパラメータは、ダウンロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
  エラー発生時の再試行	これは、ダウンロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
  再試行間隔(秒単位)	再試行間隔は、何秒ごとに再試行を実行するかを示します。
  復号化キー	これは、Oracle Storage Cloud Serviceからダウンロードする際にオブジェクトを復号化するために使用されるユーザー指定のキーです。このキーは、以前同じファイルをOracle Storage Cloud Serviceにアップロードしたときに指定した暗号化キーと同じである必要があります。間違ったキーを指定すると、ダウンロード操作は失敗します。 ノート: ダウンロード時にオブジェクトを復号化する場合、このパラメータはNULLにできません。

  前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSDownloadツールに関する項を参照してください。

• パッケージを保存して実行します。

  必要なファイルがOracle Storage Cloud Serviceからターゲット論理スキーマで指定されたディレクトリにダウンロードされます。

• ダウンロードに成功すると、「詳細」タブでこのダウンロード操作の詳細なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでダウンロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。

  詳細は、次のとおりです。

  • ソース・コンテナ: <記憶域コンテナ名>

  • ターゲット・ディレクトリ: <ターゲット・ディレクトリ・パス>

  • 使用されているフィルタ: <入力フィルタ>

  • ダウンロードされたファイルの数: <ダウンロードされたファイルの合計数>

  • ダウンロードされたファイル: <File1, File2>

  • 失敗したファイルの数: <ダウンロードされなかったファイルの合計数>

  • 失敗したファイル: <File1, File2>