31 Oracle Storage Cloud Service
この章では、Oracle Data IntegratorでのOracle Storage Cloud Serviceの使用方法について説明します。
注意:
この章は、Data Integration Platform Cloudにのみ適用されます。この章の内容は次のとおりです。
概要
Oracle Storage Cloud Serviceは、いつでもどこからでもアクセスできる非構造化データを格納するための信頼性の高いセキュアでスケーラブルなオブジェクト記憶域ソリューションを提供します。これは、多くのOPCサービスに対するデータ消費のためのゲートウェイとして機能します。これらのクラウド・サービスは、Oracle Storage Cloud Serviceからファイルを直接取得するため、Oracle Storage Cloud Serviceとの統合は、Oracle Data Integratorを使用してエンドツーエンドの統合フローを管理するために非常に重要かつ有益です。
Oracle Data Integrator (ODI)では、Oracle Storage Cloud Serviceがシームレスに統合されます。この統合により、ODIからOracle Storage Cloud Serviceに接続して、Oracle Storage Cloud Serviceに存在するローカル・ディレクトリまたはHDFSを対象にファイル/オブジェクトをアップロードまたはダウンロードできます。
概念
Oracle Storage Cloud ServiceはInfrastructure as a Service (IaaS)製品で、ファイルと構造化されていないデータに対して、企業グレードの、大規模なオブジェクト記憶域ソリューションを提供します。
Oracle Storage Cloud Serviceは、次の概念で構成されます。
Oracle Storage Cloud Service階層
Oracle Storage Cloud Serviceでは、データは、フラットなコンテナ階層内のオブジェクトとして格納されます。コンテナ内のオブジェクトは、通常、ファイルをアップロードして作成するか、一時的な非構造化データから作成できます。単一のオブジェクトで最大5GBのデータを保持できますが、複数のオブジェクトをリンクして5GBを超える連続データを保持できます。
コンテナはユーザーが作成するリソースであり、コンテナに割当て制限を指定しないかぎり、無制限の数のオブジェクトを保持できます。コンテナはネストできない点に注意してください。オブジェクトとコンテナの両方でカスタム・メタデータを定義できます。
記憶域タイプ
この統合では、Oracle Standard StorageとArchive Storageの両方がサポートされます。
-
Standard Storage - 頻繁にアクセスされる1つ以上のファイルを格納するために役立ちます。
-
Archive Storage - 電子メール・アーカイブ、データ・バックアップ、デジタル・ビデオなど、頻繁にアクセスされるわけではないデータを格納するために最適です。
インストールおよび構成
Oracle Storage Cloud Serviceテクノロジでの作業を開始する前に、この項の情報を必ず読んでください。
システム要件および動作要件
インストールを実行する前に、システム要件および動作保証のドキュメントを読み、インストールする製品の最小インストール要件を環境が満たしていることを確認します。
サポートされているプラットフォームおよびバージョンのリストには、次のOracle Technical Network (OTN)からアクセスできます。
http://www.oracle.com/technetwork/middleware/data-integrator/documentation/index.html
テクノロジ固有の要件
ODIでOracle Storage Cloud Serviceを使用する場合のテクノロジ固有の要件は、次のとおりです。
-
Oracle Object Storageと同様に定義されたOracle Storage Cloud Serviceと呼ばれる専用のビルトイン・テクノロジを保持している必要があります。
-
ODIユーザーは、このテクノロジからデータ・サーバーを作成し、作成したデータ・サーバーに対応する物理スキーマと論理スキーマを作成できる必要があります。これらの物理スキーマと論理スキーマは、Oracle Storage Cloud Service統合でサポートされるODIツールによって、ファイル/オブジェクトをアップロードおよびダウンロードするために使用されます。
このテクノロジでサポートされているデータ型は、次のとおりです。
-
Array
-
ブール
-
バイト
-
複合
-
日付
-
ダブル
-
列挙
-
固定
-
浮動小数
-
整数
-
ロング
-
マップ
-
数値
-
文字列
-
Struct
-
共用体
トポロジの設定
トポロジの設定には次が含まれます。
Oracle Storage Cloud Serviceデータ・サーバーの作成
『Oracle Data Integratorの管理』のデータ・サーバーの作成に関する項に記載されている標準の手順で、Oracle Storage Cloud Serviceテクノロジ用データ・サーバーを作成します。この項では、Oracle Storage Cloud Serviceデータ・サーバーの定義に関する必須または固有のフィールドのみについて説明します。
-
「定義」タブ:
-
データ・サーバー
-
名前 - Oracle Data Integratorに表示されるデータ・サーバーの名前。
-
-
接続
-
サービスURL - Oracle Cloud Storage ServiceのURL。例:
https://<identity-domain>.storage.oraclecloud.com
-
サービス名 - 作成したサービスURLのサービス名を指定します。例 - Storage
-
ユーザー名 - Oracle Storage Cloud Serviceにログインしているユーザーの名前
注意:
ユーザー名は、大文字で始める必要があり、実際のサーバー名は使用できません。 -
パスワード - ログイン・ユーザーのパスワード
-
アイデンティティ・ドメイン - 作成した記憶域インスタンスに固有のドメインを指定します。例 -
https://<identity-domain>.storage.oraclecloud.com
-
-
Oracle Storage Cloud Service物理スキーマの作成
Oracle Storage Cloud Service固有のパラメータは、次のとおりです。
-
名前 - 作成される物理スキーマの名前。
-
コンテナ名 - 作成した物理スキーマを関連付けるコンテナを指定します。「コンテナ名」ドロップダウン・リストから必要なコンテナを選択します。
-
ディレクトリ(作業スキーマ) - これは、Oracle Storage Cloud Serviceからファイルを取得するために使用されるローカル・システムの一時フォルダです。ディレクトリが存在していない場合は、作成されます。ローカル・システムで必要な場所を指定します。
『Oracle Data Integratorの管理』の論理スキーマの作成に関する項の説明に従って、標準の手順を使用してこの物理スキーマ用の論理スキーマを作成し、適切なコンテキストに関連付けます。
作成された論理スキーマは、Oracle Storageインスタンスの詳細を取得するために使用します。これらの詳細は、Oracle Storage Cloud Serviceテクノロジに接続するために使用されます。
。Oracle Storage Cloud Serviceモデルの作成およびリバース・エンジニアリング
この項では、次の項目について説明します。
Oracle Storage Cloud Serviceモデルの作成
Oracle Storage Cloud Serviceモデルは、Oracle Storage Cloud Serviceディレクトリに格納されたファイルに対応する、一連のデータストアです。
特定のコンテキストで、論理スキーマは1つの物理スキーマに対応します。Oracle Storage Cloud Serviceテクノロジの論理スキーマからモデルを作成できます。物理スキーマは、すべてのファイルが含まれているOracle Storage Cloud Serviceディレクトリです。マッピングで使用できるように、Oracle Storage Cloud Serviceのファイルを表す新しいODIデータストアを作成できます。
『Oracle Data Integratorでの統合プロジェクトの開発』のモデルの作成に関する項の説明に従って、標準の手順を使用してOracle Storage Cloud Serviceモデルを作成します。
Oracle Storage Cloud Serviceモデルのリバース・エンジニアリング
Oracle Data Integratorでは、特有の方法でOracle Storage Cloud Serviceファイルをリバース・エンジニアリングできます。
Oracle Storage Cloud Serviceでは、次のタイプのリバース・エンジニアリングがサポートされます。
Oracle Storage Cloud Serviceからのデリミタ付きファイルのリバース・エンジニアリング
-
「モデル」アコーディオンで、自分のStorage Cloud Serviceモデルを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。
-
「定義」タブで次のフィールドに入力します。
-
名前: このデータストアの名前
-
リソース名: サブディレクトリ(必要な場合)およびファイルの名前。これには、構成済バケットでOracle Storage Cloud Serviceに存在するすべてのファイルがリストされます。
-
-
「記憶域」タブに移動してファイルの詳細を指定します。次のようにフィールドを設定します。
-
ファイル形式: 区切り
-
ヘッダー(行数): ヘッダーの行数を入力します。ヘッダーがある場合、ヘッダーの最初の行はOracle Data Integratorによってファイルの列名に使用されます。
-
「レコード・セパレータ」を選択します。
-
「フィールド・セパレータ」として使用する文字を選択または入力します。
-
ファイルで使用されている場合は「テキスト・デリミタ」を入力します。
-
ファイルに小数点が含まれる場合は「小数点セパレータ」,を入力します。
-
-
「ファイル」メイン・メニューから「保存」を選択します。
-
データストア・エディタの「属性」タブに移動します。
-
エディタ・ツールバーで「リバース・エンジニアリング」をクリックします。
-
リバース・エンジニアリングされた属性のデータ型および長さを検証します。Oracle Data Integratorでは、ファイルの内容からフィールドのデータ型および長さが推測されますが、このプロセスでデフォルト値(たとえば、文字列フィールドの長さが50)や不正なデータ型が設定されることがあります。
-
「ファイル」メイン・メニューから「保存」を選択します。
Oracle Storage Cloud Serviceからの固定ファイルのリバース・エンジニアリング
ウィザードを使用してOracle Storage Cloud Serviceからの固定ファイルをリバース・エンジニアリングするには、次のようにします。
-
「モデル」アコーディオンで、自分のObject Storage Cloud Serviceを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。
-
「定義」タブで次のフィールドに入力します。
-
名前: このデータストアの名前
-
リソース名: サブディレクトリ(必要な場合)およびファイルの名前。これには、構成済バケットでOracle Object Storageに存在するすべてのファイルがリストされます。
-
-
「記憶域」タブに移動してファイルの詳細を指定します。次のようにフィールドを設定します。
-
ファイル形式: 固定
-
ヘッダー(行数): ヘッダーの行数を入力します。
-
「レコード・セパレータ」を選択します。
-
-
「ファイル」メイン・メニューから「保存」を選択します。
-
データストア・エディタの「属性」タブに移動します。
-
エディタ・ツールバーで「リバース・エンジニアリング」をクリックします。属性設定ウィザードが表示されます。ファイルの最初のレコードが属性設定ウィザードに表示されます。
-
ルーラー(ファイルの内容の上部)をクリックし、属性を区切るマーカーを作成します。ルーラー内で右クリックすると、マーカーを削除できます。
-
事前に生成された名前(C1、C2など)を使用して属性が作成されます。属性名を編集するには、属性ヘッダー行(ルーラーの下)をクリックします。
-
(右側の)プロパティ・パネルで、選択した属性のすべてのパラメータを編集できます。少なくとも、各属性の「属性名」、「データ型」および「長さ」を設定してください。
-
属性の定義が完了したら「OK」,をクリックします。
-
「ファイル」メイン・メニューから「保存」を選択します。
JSON、AvroおよびParquetの記憶域形式のリバース・エンジニアリング
Oracle Storage Cloud Serviceテクノロジでは、JSON、AvroおよびParquetの記憶域形式、属性、データ型およびデータ型プロパティのリバース・エンジニアリングがサポートされています。これらの記憶域形式タイプのいずれかが選択されている場合、リバース・エンジニアリングは、サンプル・データ・ファイルではなく、指定されたスキーマ・ファイルに基づきます。スキーマ・ファイルは、ローカル・ファイル・システムでアクセスできる必要があります。
JSON、AvroおよびParquetの記憶域形式をリバース・エンジニアリングするには、次のステップを実行します。
-
「モデル」アコーディオンで、自分のOracle Storage Cloud Serviceモデルを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。
-
「定義」タブで次のフィールドに入力します。
-
名前: このデータストアの名前
-
リソース名: 「検索」アイコンをクリックして、構成済バケットでOracle Storage Cloud Serviceに存在するファイルのリストから、必要なファイルを選択します。
-
-
「記憶域」タブで、「記憶域形式」ドロップダウン・リストから記憶域形式を選択して、「スキーマ・ファイル」フィールドでスキーマ・ファイルの完全パスを指定します。
スキーマ・ファイルは、ローカル・ファイル・システムに配置されている必要があります。
-
「ファイル」メイン・メニューから「保存」を選択します。
注意:
RKMをプロジェクトにインポートする必要はありません。Oracle Storage Cloud Serviceツールの使用
次のツールを使用して、Oracle Storage Cloud Serviceを対象にファイルをアップロードおよびダウンロードできます。
注意:
ODI Studioは別として、コマンドラインからもODI Storage Cloud Serviceツールを使用できます。Oracle Storage Cloud Serviceへのファイル/オブジェクトのアップロード
ODI Storage Cloud Serviceアップロード・ツールは、HDFSまたはローカル・ファイル・システムからOracle Storage Cloud Serviceに1つ以上のファイルまたはディレクトリ全体をアップロードするために使用します。
Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードするには、次のようにします。
-
新しいプロジェクトを作成します。
プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。
-
作成したプロジェクト・フォルダの下に、パッケージを作成します。
パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。
-
ツールボックスに含まれるOdiStorageCSUploadツールを選択します。それを作成したパッケージに追加します。
注意:
「一般」タブにツールのすべてのパラメータが表示されます。必要なパラメータを構成します。
表31-1 ODI Storage Cloud Serviceアップロード・ツールのパラメータ
パラメータ 説明 ターゲット論理スキーマ
Oracle Storage Cloud Serviceインスタンスのターゲット倫理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
ソース論理スキーマ
Oracle Storage Cloud ServiceにローカルまたはHDFSファイルをアップロードするためにファイルまたはHDFSデータ・サーバーで構成されたソース論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
ファイル名フィルタ
Oracle Storage Cloud Serviceに再帰的にアップロードする1つ以上のファイルまたはディレクトリを指定するフィールド。デリミタとして「|」で区切られたファイルのリストもサポートされます。準拠するパターンは次のとおりです。
-
*.txt - 末尾が.txtのすべてのファイルをアップロードします
-
test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをアップロードします
-
*test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをアップロードします
-
test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをアップロードします
-
test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをアップロードします
-
test.xml - 1つのファイルのみアップロードします
上書き
このパラメータは、アップロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
エラー発生時の再試行
これは、アップロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
再試行間隔(秒単位)
再試行間隔は、何秒ごとに再試行を実行するかを示します。
暗号化キー
これは、Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードする際にオブジェクトを暗号化するために使用されるユーザー指定のキーです。注意:
アップロード時にオブジェクトを暗号化する場合、このパラメータはNULLにできません。前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSUploadツールに関する項を参照してください。
-
-
パッケージを保存して実行します。
必要なファイルがソース・ディレクトリからOracle Storage Cloud Serviceのターゲット・コンテナにアップロードされます。
-
アップロードに成功すると、「詳細」タブでこのアップロード操作の完全なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでアップロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。
詳細は、次のとおりです。
-
ソース・ディレクトリ:
<ソース・ディレクトリ・パス>
-
ターゲット・コンテナ:
<記憶域コンテナ名>
-
使用されているフィルタ:
<入力フィルタ>
-
アップロードされたファイルの数:
<アップロードされたファイルの合計数>
-
アップロードされたファイル:
<File1, File2>
-
失敗したファイルの数:
<アップロードされなかったファイルの合計数>
-
失敗したファイル:
<File1, File2>
-
Oracle Storage Cloud Serviceからのファイル/オブジェクトのダウンロード
ODI Storage Cloud Serviceダウンロード・ツールは、Oracle Storage Cloud ServiceからHDFSまたはローカル・ファイル・システムに1つ以上のファイルまたはディレクトリ全体をダウンロードするために使用します。HDFSファイルの場合、Oracle Storage Cloud Serviceからのファイルは、最初にローカル・ディレクトリ(Oracle Storage Cloud Service物理スキーマの「ディレクトリ(作業スキーマ)」で指定)にコピーされ、次にローカル・ディレクトリからHDFSにファイルがダウンロードされます。
Oracle Storage Cloud Serviceからファイルまたはディレクトリをダウンロードするには、次のようにします。
-
新しいプロジェクトを作成します
プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。
-
作成したプロジェクト・フォルダの下に、パッケージを作成します
パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。
-
ツールボックスに含まれるOdiStorageCSDownloadツールを選択します。それを作成したパッケージに追加します。
注意:
「一般」タブにツールのすべてのパラメータが表示されます。 -
必要なパラメータを構成します。
表31-2 ODI Storge CSダウンロード・ツールのパラメータ
パラメータ 説明 ソース論理スキーマ
Oracle Storage Cloud Serviceインスタンスで構成されたソース論理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。
ターゲット論理スキーマ
Oracle Storage Cloud ServiceからローカルまたはHDFSファイルをダウンロードするためにファイルまたはHDFSデータ・サーバーで構成された論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。
ファイル名フィルタ
Oracle Storage Cloud Serviceから再帰的にダウンロードする1つ以上のファイルまたはディレクトリを指定するフィールド。区切られたファイルのリスト用にデリミタの「|」もサポートされます。準拠するパターンは次のとおりです。
-
*.txt - 末尾が.txtのすべてのファイルをダウンロードします
-
test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをダウンロードします
-
*test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをダウンロードします
-
test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをダウンロードします
-
test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをダウンロードします
-
test.xml - 1つのファイルのみダウンロードします
上書き
このパラメータは、ダウンロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。
エラー発生時の再試行
これは、ダウンロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。
再試行間隔(秒単位)
再試行間隔は、何秒ごとに再試行を実行するかを示します。
復号化キー
これは、Oracle Storage Cloud Serviceからダウンロードする際にオブジェクトを復号化するために使用されるユーザー指定のキーです。このキーは、以前同じファイルをOracle Storage Cloud Serviceにアップロードしたときに指定した暗号化キーと同じである必要があります。間違ったキーを指定すると、ダウンロード操作は失敗します。
注意:
ダウンロード時にオブジェクトを復号化する場合、このパラメータはNULLにできません。前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSDownloadツールに関する項を参照してください。
-
-
パッケージを保存して実行します。
必要なファイルがOracle Storage Cloud Serviceからターゲット論理スキーマで指定されたディレクトリにダウンロードされます。
-
ダウンロードに成功すると、「詳細」タブでこのダウンロード操作の詳細なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでダウンロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。
詳細は、次のとおりです。
-
ソース・コンテナ:
<記憶域コンテナ名>
-
ターゲット・ディレクトリ:
<ターゲット・ディレクトリ・パス>
-
使用されているフィルタ:
<入力フィルタ>
-
ダウンロードされたファイルの数:
<ダウンロードされたファイルの合計数>
-
ダウンロードされたファイル:
<File1, File2>
-
失敗したファイルの数:
<ダウンロードされなかったファイルの合計数>
-
失敗したファイル:
<File1, File2>
-