30 Oracle Storage Cloud Service
この章では、Oracle Data IntegratorでのOracle Storage Cloud Serviceの使用方法について説明します。
注意:
この章は、Data Integration Platform Cloudにのみ適用されます。この章の内容は次のとおりです。
30.1 概要
Oracle Storage Cloud Serviceは、いつでもどこからでもアクセスできる非構造化データを格納するための信頼性の高いセキュアでスケーラブルなオブジェクト記憶域ソリューションを提供します。これは、BDPやBICSなどの多くのOPCサービスに対するデータ消費のためのゲートウェイとして機能します。これらのクラウド・サービスは、Oracle Storage Cloud Serviceからファイルを直接取得するため、Oracle Storage Cloud Serviceとの統合は、Oracle Data Integratorを使用してエンドツーエンドの統合フローを管理するために非常に重要かつ有益です。
Oracle Data Integrator (ODI)では、Oracle Storage Cloud Serviceがシームレスに統合されます。この統合により、ODIからOracle Storage Cloud Serviceに接続して、Oracle Storage Cloud Serviceに存在するローカル・ディレクトリまたはHDFSを対象にファイル/オブジェクトをアップロードまたはダウンロードできます。
30.1.1 概念
Oracle Storage Cloud ServiceはInfrastructure as a Service (IaaS)製品で、ファイルと構造化されていないデータに対して、企業グレードの、大規模なオブジェクト記憶域ソリューションを提供します。
Oracle Storage Cloud Serviceは、次の概念で構成されます。
Oracle Storage Cloud Service階層
Oracle Storage Cloud Serviceでは、データは、フラットなコンテナ階層内のオブジェクトとして格納されます。コンテナ内のオブジェクトは、通常、ファイルをアップロードして作成するか、一時的な非構造化データから作成できます。単一のオブジェクトで最大5GBのデータを保持できますが、複数のオブジェクトをリンクして5GBを超える連続データを保持できます。
コンテナはユーザーが作成するリソースであり、コンテナに割当て制限を指定しないかぎり、無制限の数のオブジェクトを保持できます。コンテナはネストできない点に注意してください。オブジェクトとコンテナの両方でカスタム・メタデータを定義できます。
記憶域タイプ
この統合では、Oracle Standard StorageとArchive Storageの両方がサポートされます。
-
Standard Storage - 頻繁にアクセスされる1つ以上のファイルを格納するために役立ちます。
-
Archive Storage — 電子メール・アーカイブ、データ・バックアップ、デジタル・ビデオなど、頻繁にアクセスされるわけではないデータを格納するために最適です。
30.2 インストールおよび構成
Oracle Storage Cloud Serviceテクノロジでの作業を開始する前に、この項の情報を必ず読んでください。
30.2.1 システム要件および動作要件
インストールを実行する前に、システム要件および動作保証のドキュメントを読み、インストールする製品の最小インストール要件を環境が満たしていることを確認します。
サポートされているプラットフォームおよびバージョンのリストには、次のOracle Technical Network (OTN)からアクセスできます: http://www.oracle.com/technetwork/middleware/data-integrator/documentation/index.html
30.2.2 テクノロジ固有の要件
ODIでOracle Storage Cloud Serviceを使用する場合のテクノロジ固有の要件は、次のとおりです。
-
Oracle Object Storageと同様に定義されたOracle Storage Cloud Serviceと呼ばれる専用のビルトイン・テクノロジを保持している必要があります。
-
ODIユーザーは、このテクノロジからデータ・サーバーを作成し、作成したデータ・サーバーに対応する物理スキーマと論理スキーマを作成できる必要があります。これらの物理スキーマと論理スキーマは、Oracle Storage Cloud Service統合でサポートされるODIツールによって、ファイル/オブジェクトをアップロードおよびダウンロードするために使用されます。
このテクノロジでサポートされているデータ型は、次のとおりです。
-
数値
-
文字列
-
日付
Oracleを対象とするデータ型マッピングは、次のデータ型に対して定義されます(ファイル・データ・サーバーのマッピングと同様です)。
30.3 トポロジの設定
トポロジの設定には次が含まれます。
30.3.1 Oracle Storage Cloud Serviceデータ・サーバーの作成
『Oracle Data Integratorの管理』のデータ・サーバーの作成に関する項に記載されている標準の手順で、Oracle Storage Cloud Serviceテクノロジ用データ・サーバーを作成します。この項では、Oracle Storage Cloud Serviceデータ・サーバーの定義に関する必須または固有のフィールドのみについて説明します。
-
「定義」タブ:
-
データ・サーバー
-
名前 - Oracle Data Integratorに表示されるデータ・サーバーの名前。
-
-
接続
-
サービスURL - Oracle Cloud Storage ServiceのURL。たとえば:
https://<identity-domain>.storage.oraclecloud.com
-
サービス名 - 作成したサービスURLのサービス名を指定します。たとえば - Storage
-
ユーザー名 - Oracle Storage Cloud Serviceにログインしているユーザーの名前
ノート:
ユーザー名は、大文字で始める必要があり、実際のサーバー名は使用できません。 -
パスワード - ログイン・ユーザーのパスワード
-
アイデンティティ・ドメイン - 作成した記憶域インスタンスに固有のドメインを指定します。たとえば –
https://<identity-domain>.storage.oraclecloud.com
-
-
30.3.2 Oracle Storage Cloud Service物理スキーマの作成
Oracle Storage Cloud Service固有のパラメータは、次のとおりです。
-
名前— 作成される物理スキーマの名前。
-
コンテナ名 — 作成した物理スキーマを関連付けるコンテナを指定します。「コンテナ名」ドロップダウン・リストから必要なコンテナを選択します。
-
ディレクトリ(作業スキーマ) — これは、Oracle Storage Cloud Serviceからファイルを取得するために使用されるローカル・システムの一時フォルダです。ディレクトリが存在していない場合は、作成されます。ローカル・システムで必要な場所を指定します。
『Oracle Data Integratorの管理』の論理スキーマの作成に関する項の説明に従って、標準の手順を使用してこの物理スキーマ用の論理スキーマを作成し、適切なコンテキストに関連付けます。
作成された論理スキーマは、Oracle Storageインスタンスの詳細を取得するために使用します。これらの詳細は、Oracle Storage Cloud Serviceテクノロジに接続するために使用されます。
。30.4 Oracle Storage Cloud Serviceツールの使用
次のツールを使用して、Oracle Storage Cloud Serviceを対象にファイルをアップロードおよびダウンロードできます。
ノート:
ODI Studioは別として、コマンドラインからもODI Storage Cloud Serviceツールを使用できます。30.4.1 Oracle Storage Cloud Serviceへのファイル/オブジェクトのアップロード
ODI Storage Cloud Serviceアップロード・ツールは、HDFSまたはローカル・ファイル・システムからOracle Storage Cloud Serviceに1つ以上のファイルまたはディレクトリ全体をアップロードするために使用します。
Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードするには、次のようにします。
-
新しいプロジェクトを作成します。
プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。
-
作成したプロジェクト・フォルダの下に、パッケージを作成します。
パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。
-
ツールボックスに含まれるOdiStorageCSUploadツールを選択します。それを作成したパッケージに追加します。
ノート:
「一般」タブにツールのすべてのパラメータが表示されます。必要なパラメータを構成します。
表30-1 ODI Storage Cloud Serviceアップロード・ツールのパラメータ
パラメータ 説明 ターゲット論理スキーマ
Oracle Storage Cloud Serviceインスタンスのターゲット倫理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
ソース論理スキーマ
Oracle Storage Cloud ServiceにローカルまたはHDFSファイルをアップロードするためにファイルまたはHDFSデータ・サーバーで構成されたソース論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
ファイル名フィルタ
Oracle Storage Cloud Serviceに再帰的にアップロードする1つ以上のファイルまたはディレクトリを指定するフィールド。デリミタとして「|」で区切られたファイルのリストもサポートされます。準拠するパターンは次のとおりです。
-
*.txt - 末尾が.txtのすべてのファイルをアップロードします
-
test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをアップロードします
-
*test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをアップロードします
-
test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをアップロードします
-
test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをアップロードします
-
test.xml - 1つのファイルのみアップロードします
上書き
このパラメータは、アップロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
エラー発生時の再試行
これは、アップロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
再試行間隔(秒単位)
再試行間隔は、何秒ごとに再試行を実行するかを示します。
暗号化キー
これは、Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードする際にオブジェクトを暗号化するために使用されるユーザー指定のキーです。ノート:
アップロード時にオブジェクトを暗号化する場合、このパラメータはNULLにできません。前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSUploadツールに関する項を参照してください。
-
-
パッケージを保存して実行します。
必要なファイルがソース・ディレクトリからOracle Storage Cloud Serviceのターゲット・コンテナにアップロードされます。
-
アップロードに成功すると、「詳細」タブでこのアップロード操作の完全なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでアップロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。
詳細は、次のとおりです。
-
ソース・ディレクトリ:
<ソース・ディレクトリ・パス>
-
ターゲット・コンテナ:
<記憶域コンテナ名>
-
使用されているフィルタ:
<入力フィルタ>
-
アップロードされたファイルの数:
<アップロードされたファイルの合計数>
-
アップロードされたファイル:
<File1, File2>
-
失敗したファイルの数:
<アップロードされなかったファイルの合計数>
-
失敗したファイル:
<File1, File2>
-
30.4.2 Oracle Storage Cloud Serviceからのファイル/オブジェクトのダウンロード
ODI Storage Cloud Serviceダウンロード・ツールは、Oracle Storage Cloud ServiceからHDFSまたはローカル・ファイル・システムに1つ以上のファイルまたはディレクトリ全体をダウンロードするために使用します。HDFSファイルの場合、Oracle Storage Cloud Serviceからのファイルは、最初にローカル・ディレクトリ(Oracle Storage Cloud Service物理スキーマの「ディレクトリ(作業スキーマ)」で指定)にコピーされ、次にローカル・ディレクトリからHDFSにファイルがダウンロードされます。
Oracle Storage Cloud Serviceからファイルまたはディレクトリをダウンロードするには、次のようにします。
-
新しいプロジェクトを作成します
プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。
-
作成したプロジェクト・フォルダの下に、パッケージを作成します
パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。
-
ツールボックスに含まれるOdiStorageCSDownloadツールを選択します。それを作成したパッケージに追加します。
ノート:
「一般」タブにツールのすべてのパラメータが表示されます。 -
必要なパラメータを構成します。
表30-2 ODI Storge CSダウンロード・ツールのパラメータ
パラメータ 説明 ソース論理スキーマ
Oracle Storage Cloud Serviceインスタンスで構成されたソース論理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
ターゲット論理スキーマ
Oracle Storage Cloud ServiceからローカルまたはHDFSファイルをダウンロードするためにファイルまたはHDFSデータ・サーバーで構成された論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
ファイル名フィルタ
Oracle Storage Cloud Serviceから再帰的にダウンロードする1つ以上のファイルまたはディレクトリを指定するフィールド。区切られたファイルのリスト用にデリミタの「|」もサポートされます。準拠するパターンは次のとおりです。
-
*.txt - 末尾が.txtのすべてのファイルをダウンロードします
-
test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをダウンロードします
-
*test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをダウンロードします
-
test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをダウンロードします
-
test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをダウンロードします
-
test.xml - 1つのファイルのみダウンロードします
上書き
このパラメータは、ダウンロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
エラー発生時の再試行
これは、ダウンロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
再試行間隔(秒単位)
再試行間隔は、何秒ごとに再試行を実行するかを示します。
復号化キー
これは、Oracle Storage Cloud Serviceからダウンロードする際にオブジェクトを復号化するために使用されるユーザー指定のキーです。このキーは、以前同じファイルをOracle Storage Cloud Serviceにアップロードしたときに指定した暗号化キーと同じである必要があります。間違ったキーを指定すると、ダウンロード操作は失敗します。
ノート:
ダウンロード時にオブジェクトを復号化する場合、このパラメータはNULLにできません。前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSDownloadツールに関する項を参照してください。
-
-
パッケージを保存して実行します。
必要なファイルがOracle Storage Cloud Serviceからターゲット論理スキーマで指定されたディレクトリにダウンロードされます。
-
ダウンロードに成功すると、「詳細」タブでこのダウンロード操作の詳細なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでダウンロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。
詳細は、次のとおりです。
-
ソース・コンテナ:
<記憶域コンテナ名>
-
ターゲット・ディレクトリ:
<ターゲット・ディレクトリ・パス>
-
使用されているフィルタ:
<入力フィルタ>
-
ダウンロードされたファイルの数:
<ダウンロードされたファイルの合計数>
-
ダウンロードされたファイル:
<File1, File2>
-
失敗したファイルの数:
<ダウンロードされなかったファイルの合計数>
-
失敗したファイル:
<File1, File2>
-