31 Oracle Storage Cloud Service

この章では、Oracle Data IntegratorでのOracle Storage Cloud Serviceの使用方法について説明します。

注意:

この章は、Data Integration Platform Cloudにのみ適用されます。

この章の内容は次のとおりです。

概要

Oracle Storage Cloud Serviceは、いつでもどこからでもアクセスできる非構造化データを格納するための信頼性の高いセキュアでスケーラブルなオブジェクト記憶域ソリューションを提供します。これは、多くのOPCサービスに対するデータ消費のためのゲートウェイとして機能します。これらのクラウド・サービスは、Oracle Storage Cloud Serviceからファイルを直接取得するため、Oracle Storage Cloud Serviceとの統合は、Oracle Data Integratorを使用してエンドツーエンドの統合フローを管理するために非常に重要かつ有益です。

Oracle Data Integrator (ODI)では、Oracle Storage Cloud Serviceがシームレスに統合されます。この統合により、ODIからOracle Storage Cloud Serviceに接続して、Oracle Storage Cloud Serviceに存在するローカル・ディレクトリまたはHDFSを対象にファイル/オブジェクトをアップロードまたはダウンロードできます。

概念

Oracle Storage Cloud ServiceはInfrastructure as a Service (IaaS)製品で、ファイルと構造化されていないデータに対して、企業グレードの、大規模なオブジェクト記憶域ソリューションを提供します。

Oracle Storage Cloud Serviceは、次の概念で構成されます。

Oracle Storage Cloud Service階層

Oracle Storage Cloud Serviceでは、データは、フラットなコンテナ階層内のオブジェクトとして格納されます。コンテナ内のオブジェクトは、通常、ファイルをアップロードして作成するか、一時的な非構造化データから作成できます。単一のオブジェクトで最大5GBのデータを保持できますが、複数のオブジェクトをリンクして5GBを超える連続データを保持できます。

コンテナはユーザーが作成するリソースであり、コンテナに割当て制限を指定しないかぎり、無制限の数のオブジェクトを保持できます。コンテナはネストできない点に注意してください。オブジェクトとコンテナの両方でカスタム・メタデータを定義できます。

記憶域タイプ

この統合では、Oracle Standard StorageとArchive Storageの両方がサポートされます。

  • Standard Storage - 頻繁にアクセスされる1つ以上のファイルを格納するために役立ちます。

  • Archive Storage - 電子メール・アーカイブ、データ・バックアップ、デジタル・ビデオなど、頻繁にアクセスされるわけではないデータを格納するために最適です。

インストールおよび構成

Oracle Storage Cloud Serviceテクノロジでの作業を開始する前に、この項の情報を必ず読んでください。

システム要件および動作要件

インストールを実行する前に、システム要件および動作保証のドキュメントを読み、インストールする製品の最小インストール要件を環境が満たしていることを確認します。

サポートされているプラットフォームおよびバージョンのリストには、次のOracle Technical Network (OTN)からアクセスできます。

http://www.oracle.com/technetwork/middleware/data-integrator/documentation/index.html

テクノロジ固有の要件

ODIでOracle Storage Cloud Serviceを使用する場合のテクノロジ固有の要件は、次のとおりです。

  • Oracle Object Storageと同様に定義されたOracle Storage Cloud Serviceと呼ばれる専用のビルトイン・テクノロジを保持している必要があります。

  • ODIユーザーは、このテクノロジからデータ・サーバーを作成し、作成したデータ・サーバーに対応する物理スキーマと論理スキーマを作成できる必要があります。これらの物理スキーマと論理スキーマは、Oracle Storage Cloud Service統合でサポートされるODIツールによって、ファイル/オブジェクトをアップロードおよびダウンロードするために使用されます。

このテクノロジでサポートされているデータ型は、次のとおりです。

  • Array

  • ブール

  • バイト

  • 複合

  • 日付

  • ダブル

  • 列挙

  • 固定

  • 浮動小数

  • 整数

  • ロング

  • マップ

  • 数値

  • 文字列

  • Struct

  • 共用体

トポロジの設定

トポロジの設定には次が含まれます。

Oracle Storage Cloud Serviceデータ・サーバーの作成

『Oracle Data Integratorの管理』のデータ・サーバーの作成に関する項に記載されている標準の手順で、Oracle Storage Cloud Serviceテクノロジ用データ・サーバーを作成します。この項では、Oracle Storage Cloud Serviceデータ・サーバーの定義に関する必須または固有のフィールドのみについて説明します。

  • 「定義」タブ:

    1. データ・サーバー

      • 名前 - Oracle Data Integratorに表示されるデータ・サーバーの名前。

    2. 接続

      • サービスURL - Oracle Cloud Storage ServiceのURL。例: https://<identity-domain>.storage.oraclecloud.com

      • サービス名 - 作成したサービスURLのサービス名を指定します。例 - Storage

      • ユーザー名 - Oracle Storage Cloud Serviceにログインしているユーザーの名前

        注意:

        ユーザー名は、大文字で始める必要があり、実際のサーバー名は使用できません。
      • パスワード - ログイン・ユーザーのパスワード

      • アイデンティティ・ドメイン - 作成した記憶域インスタンスに固有のドメインを指定します。例 - https://<identity-domain>.storage.oraclecloud.com

Oracle Storage Cloud Service物理スキーマの作成

『Oracle Data Integratorの管理』の物理スキーマの作成に関する項の説明に従って、標準の手順を使用してOracle Storage Cloud Service物理スキーマを作成します。

Oracle Storage Cloud Service固有のパラメータは、次のとおりです。

  • 名前 - 作成される物理スキーマの名前。

  • コンテナ名 - 作成した物理スキーマを関連付けるコンテナを指定します。「コンテナ名」ドロップダウン・リストから必要なコンテナを選択します。

  • ディレクトリ(作業スキーマ) - これは、Oracle Storage Cloud Serviceからファイルを取得するために使用されるローカル・システムの一時フォルダです。ディレクトリが存在していない場合は、作成されます。ローカル・システムで必要な場所を指定します。

『Oracle Data Integratorの管理』の論理スキーマの作成に関する項の説明に従って、標準の手順を使用してこの物理スキーマ用の論理スキーマを作成し、適切なコンテキストに関連付けます。

作成された論理スキーマは、Oracle Storageインスタンスの詳細を取得するために使用します。これらの詳細は、Oracle Storage Cloud Serviceテクノロジに接続するために使用されます。

Oracle Storage Cloud Serviceモデルの作成およびリバース・エンジニアリング

Oracle Storage Cloud Serviceモデルの作成

Oracle Storage Cloud Serviceモデルは、Oracle Storage Cloud Serviceディレクトリに格納されたファイルに対応する、一連のデータストアです。

特定のコンテキストで、論理スキーマは1つの物理スキーマに対応します。Oracle Storage Cloud Serviceテクノロジの論理スキーマからモデルを作成できます。物理スキーマは、すべてのファイルが含まれているOracle Storage Cloud Serviceディレクトリです。マッピングで使用できるように、Oracle Storage Cloud Serviceのファイルを表す新しいODIデータストアを作成できます。

『Oracle Data Integratorでの統合プロジェクトの開発』のモデルの作成に関する項の説明に従って、標準の手順を使用してOracle Storage Cloud Serviceモデルを作成します。

Oracle Storage Cloud Serviceモデルのリバース・エンジニアリング

Oracle Data Integratorでは、特有の方法でOracle Storage Cloud Serviceファイルをリバース・エンジニアリングできます。

Oracle Storage Cloud Serviceからのデリミタ付きファイルのリバース・エンジニアリング

デリミタ付きファイルのリバース・エンジニアリングを実行するには、次のようにします。
  1. 「モデル」アコーディオンで、自分のStorage Cloud Serviceモデルを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。

  2. 「定義」タブで次のフィールドに入力します。

    • 名前: このデータストアの名前

    • リソース名: サブディレクトリ(必要な場合)およびファイルの名前。これには、構成済バケットでOracle Storage Cloud Serviceに存在するすべてのファイルがリストされます。

  3. 「記憶域」タブに移動してファイルの詳細を指定します。次のようにフィールドを設定します。

    • ファイル形式: 区切り

    • ヘッダー(行数): ヘッダーの行数を入力します。ヘッダーがある場合、ヘッダーの最初の行はOracle Data Integratorによってファイルの列名に使用されます。

    • 「レコード・セパレータ」を選択します。

    • 「フィールド・セパレータ」として使用する文字を選択または入力します。

    • ファイルで使用されている場合は「テキスト・デリミタ」を入力します。

    • ファイルに小数点が含まれる場合は「小数点セパレータ」,を入力します。

  4. 「ファイル」メイン・メニューから「保存」を選択します。

  5. データストア・エディタ「属性」タブに移動します。

  6. エディタ・ツールバーで「リバース・エンジニアリング」をクリックします。

  7. リバース・エンジニアリングされた属性のデータ型および長さを検証します。Oracle Data Integratorでは、ファイルの内容からフィールドのデータ型および長さが推測されますが、このプロセスでデフォルト値(たとえば、文字列フィールドの長さが50)や不正なデータ型が設定されることがあります。

  8. 「ファイル」メイン・メニューから「保存」を選択します。

Oracle Storage Cloud Serviceからの固定ファイルのリバース・エンジニアリング

Oracle Data Integratorには、固定ファイルの列を定義するためのグラフィカルなウィザードが用意されています。

ウィザードを使用してOracle Storage Cloud Serviceからの固定ファイルをリバース・エンジニアリングするには、次のようにします。

  1. 「モデル」アコーディオンで、自分のObject Storage Cloud Serviceを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。

  2. 「定義」タブで次のフィールドに入力します。

    • 名前: このデータストアの名前

    • リソース名: サブディレクトリ(必要な場合)およびファイルの名前。これには、構成済バケットでOracle Object Storageに存在するすべてのファイルがリストされます。

  3. 「記憶域」タブに移動してファイルの詳細を指定します。次のようにフィールドを設定します。

    • ファイル形式: 固定

    • ヘッダー(行数): ヘッダーの行数を入力します。

    • 「レコード・セパレータ」を選択します。

  4. 「ファイル」メイン・メニューから「保存」を選択します。

  5. データストア・エディタの「属性」タブに移動します。

  6. エディタ・ツールバーで「リバース・エンジニアリング」をクリックします。属性設定ウィザードが表示されます。ファイルの最初のレコードが属性設定ウィザードに表示されます。

  7. ルーラー(ファイルの内容の上部)をクリックし、属性を区切るマーカーを作成します。ルーラー内で右クリックすると、マーカーを削除できます。

  8. 事前に生成された名前(C1、C2など)を使用して属性が作成されます。属性名を編集するには、属性ヘッダー行(ルーラーの下)をクリックします。

  9. (右側の)プロパティ・パネルで、選択した属性のすべてのパラメータを編集できます。少なくとも、各属性の「属性名」、「データ型」および「長さ」を設定してください。

  10. 属性の定義が完了したら「OK」,をクリックします。

  11. 「ファイル」メイン・メニューから「保存」を選択します。

JSON、AvroおよびParquetの記憶域形式のリバース・エンジニアリング

Oracle Storage Cloud Serviceテクノロジでは、JSON、AvroおよびParquetの記憶域形式、属性、データ型およびデータ型プロパティのリバース・エンジニアリングがサポートされています。これらの記憶域形式タイプのいずれかが選択されている場合、リバース・エンジニアリングは、サンプル・データ・ファイルではなく、指定されたスキーマ・ファイルに基づきます。スキーマ・ファイルは、ローカル・ファイル・システムでアクセスできる必要があります。

JSON、AvroおよびParquetの記憶域形式をリバース・エンジニアリングするには、次のステップを実行します。

  1. 「モデル」アコーディオンで、自分のOracle Storage Cloud Serviceモデルを右クリックして「新規データストア」を選択します。データストア・エディタが開きます。

  2. 「定義」タブで次のフィールドに入力します。

    • 名前: このデータストアの名前

    • リソース名: 「検索」アイコンをクリックして、構成済バケットでOracle Storage Cloud Serviceに存在するファイルのリストから、必要なファイルを選択します。

  3. 「記憶域」タブで、「記憶域形式」ドロップダウン・リストから記憶域形式を選択して、「スキーマ・ファイル」フィールドでスキーマ・ファイルの完全パスを指定します。

    スキーマ・ファイルは、ローカル・ファイル・システムに配置されている必要があります。

  4. 「ファイル」メイン・メニューから「保存」を選択します。

注意:

RKMをプロジェクトにインポートする必要はありません。

Oracle Storage Cloud Serviceツールの使用

次のツールを使用して、Oracle Storage Cloud Serviceを対象にファイルをアップロードおよびダウンロードできます。

注意:

ODI Studioは別として、コマンドラインからもODI Storage Cloud Serviceツールを使用できます。

Oracle Storage Cloud Serviceへのファイル/オブジェクトのアップロード

ODI Storage Cloud Serviceアップロード・ツールは、HDFSまたはローカル・ファイル・システムからOracle Storage Cloud Serviceに1つ以上のファイルまたはディレクトリ全体をアップロードするために使用します。

Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードするには、次のようにします。

  1. 新しいプロジェクトを作成します。

    プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。

  2. 作成したプロジェクト・フォルダの下に、パッケージを作成します。

    パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。

  3. ツールボックスに含まれるOdiStorageCSUploadツールを選択します。それを作成したパッケージに追加します。

    注意:

    「一般」タブにツールのすべてのパラメータが表示されます。

    必要なパラメータを構成します。

    表31-1 ODI Storage Cloud Serviceアップロード・ツールのパラメータ

    パラメータ 説明

    ターゲット論理スキーマ

    Oracle Storage Cloud Serviceインスタンスのターゲット倫理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。

    ソース論理スキーマ

    Oracle Storage Cloud ServiceにローカルまたはHDFSファイルをアップロードするためにファイルまたはHDFSデータ・サーバーで構成されたソース論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。

    ファイル名フィルタ

    Oracle Storage Cloud Serviceに再帰的にアップロードする1つ以上のファイルまたはディレクトリを指定するフィールド。デリミタとして「|」で区切られたファイルのリストもサポートされます。準拠するパターンは次のとおりです。

    • *.txt - 末尾が.txtのすべてのファイルをアップロードします

    • test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをアップロードします

    • *test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをアップロードします

    • test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをアップロードします

    • test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをアップロードします

    • test.xml - 1つのファイルのみアップロードします

    上書き

    このパラメータは、アップロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。

    エラー発生時の再試行

    これは、アップロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。

    再試行間隔(秒単位)

    再試行間隔は、何秒ごとに再試行を実行するかを示します。

    暗号化キー

    これは、Oracle Storage Cloud Serviceにファイルまたはディレクトリをアップロードする際にオブジェクトを暗号化するために使用されるユーザー指定のキーです。

    注意:

    アップロード時にオブジェクトを暗号化する場合、このパラメータはNULLにできません。

    前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSUploadツールに関する項を参照してください。

  4. パッケージを保存して実行します。

    必要なファイルがソース・ディレクトリからOracle Storage Cloud Serviceのターゲット・コンテナにアップロードされます。

  5. アップロードに成功すると、「詳細」タブでこのアップロード操作の完全なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでアップロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。

    詳細は、次のとおりです。

    • ソース・ディレクトリ: <ソース・ディレクトリ・パス>

    • ターゲット・コンテナ: <記憶域コンテナ名>

    • 使用されているフィルタ: <入力フィルタ>

    • アップロードされたファイルの数: <アップロードされたファイルの合計数>

    • アップロードされたファイル: <File1, File2>

    • 失敗したファイルの数: <アップロードされなかったファイルの合計数>

    • 失敗したファイル: <File1, File2>

Oracle Storage Cloud Serviceからのファイル/オブジェクトのダウンロード

ODI Storage Cloud Serviceダウンロード・ツールは、Oracle Storage Cloud ServiceからHDFSまたはローカル・ファイル・システムに1つ以上のファイルまたはディレクトリ全体をダウンロードするために使用します。HDFSファイルの場合、Oracle Storage Cloud Serviceからのファイルは、最初にローカル・ディレクトリ(Oracle Storage Cloud Service物理スキーマの「ディレクトリ(作業スキーマ)」で指定)にコピーされ、次にローカル・ディレクトリからHDFSにファイルがダウンロードされます。

Oracle Storage Cloud Serviceからファイルまたはディレクトリをダウンロードするには、次のようにします。

  • 新しいプロジェクトを作成します

    プロジェクトを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「統合プロジェクトの作成」を参照してください。

  • 作成したプロジェクト・フォルダの下に、パッケージを作成します

    パッケージを作成する方法の詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「パッケージの作成および使用」を参照してください。

  • ツールボックスに含まれるOdiStorageCSDownloadツールを選択します。それを作成したパッケージに追加します。

    注意:

    「一般」タブにツールのすべてのパラメータが表示されます。
  • 必要なパラメータを構成します。

    表31-2 ODI Storge CSダウンロード・ツールのパラメータ

    パラメータ 説明

    ソース論理スキーマ

    Oracle Storage Cloud Serviceインスタンスで構成されたソース論理スキーマ名。コンテナ情報は、構成された物理スキーマを介して論理スキーマから取得されます。

    ターゲット論理スキーマ

    Oracle Storage Cloud ServiceからローカルまたはHDFSファイルをダウンロードするためにファイルまたはHDFSデータ・サーバーで構成された論理スキーマ名。ディレクトリ構造は、構成された物理アーキテクチャを介して論理スキーマから取得されます。

    ファイル名フィルタ

    Oracle Storage Cloud Serviceから再帰的にダウンロードする1つ以上のファイルまたはディレクトリを指定するフィールド。区切られたファイルのリスト用にデリミタの「|」もサポートされます。準拠するパターンは次のとおりです。

    • *.txt - 末尾が.txtのすべてのファイルをダウンロードします

    • test* - 先頭が"test"に一致するすべてのファイルおよびディレクトリをダウンロードします

    • *test* - 部分文字列に"test"を含むすべてのファイルおよびディレクトリをダウンロードします

    • test.xml | test1.xml | test2.xml - 指定されたすべてのファイルをダウンロードします

    • test* | test1* - test*およびtest1*というパターンに一致するすべてのファイルをダウンロードします

    • test.xml - 1つのファイルのみダウンロードします

    上書き

    このパラメータは、ダウンロード操作で既存のファイルを上書きするかどうかを示します。このパラメータのデフォルト値は、「いいえ」です。

    エラー発生時の再試行

    これは、ダウンロード中に障害またはエラーが発生したときに実行する再試行の回数を表します。

    再試行間隔(秒単位)

    再試行間隔は、何秒ごとに再試行を実行するかを示します。

    復号化キー

    これは、Oracle Storage Cloud Serviceからダウンロードする際にオブジェクトを復号化するために使用されるユーザー指定のキーです。このキーは、以前同じファイルをOracle Storage Cloud Serviceにアップロードしたときに指定した暗号化キーと同じである必要があります。間違ったキーを指定すると、ダウンロード操作は失敗します。

    注意:

    ダウンロード時にオブジェクトを復号化する場合、このパラメータはNULLにできません。

    前述のパラメータの詳細は、『Oracle Data Integratorツール・リファレンス』のOdiStorageCSDownloadツールに関する項を参照してください。

  • パッケージを保存して実行します。

    必要なファイルがOracle Storage Cloud Serviceからターゲット論理スキーマで指定されたディレクトリにダウンロードされます。

  • ダウンロードに成功すると、「詳細」タブでこのダウンロード操作の詳細なログを参照できます。「詳細」タブに移動する場合、「オペレータ」タブでダウンロード・ツールの関連セッションを展開し、「セッション・タスク」ウィンドウを開くと、必要なログ情報を含む「詳細」タブが表示されます。

    詳細は、次のとおりです。

    • ソース・コンテナ: <記憶域コンテナ名>

    • ターゲット・ディレクトリ: <ターゲット・ディレクトリ・パス>

    • 使用されているフィルタ: <入力フィルタ>

    • ダウンロードされたファイルの数: <ダウンロードされたファイルの合計数>

    • ダウンロードされたファイル: <File1, File2>

    • 失敗したファイルの数: <ダウンロードされなかったファイルの合計数>

    • 失敗したファイル: <File1, File2>