| Oracle® Fusion Middleware Oracle Data Integratorの管理 12c (12.2.1.1) E77330-01 |
|
 前 |
 次 |
この項では、Oracle Fusion Middleware 12cリリースにおけるOracle Data Integrator (ODI)の新機能および製品の重要な変更点の概要を示します。
この章では、次の項目について説明します。
Oracle Data Integrator 12c (12.2.1.1)では、次の機能が強化されています。
Hyperion EssbaseおよびHyperion Planningナレッジ・モジュール
Hyperion EssbaseおよびHyperion Planningナレッジ・モジュールがOracle Data Integratorで即時利用可能になり、これらのHyperionアプリケーションの最新バージョン(11.1.2.4)がサポートされます。
詳細は、『Oracle Data Integrator接続およびナレッジ・モジュール・ガイド』のOracle Hyperion Planningに関する項とOracle Hyperion Essbaseに関する項を参照してください。
GoldenGateナレッジ・モジュールでの統合キャプチャおよび配信サポート
Oracleデータベース向けGoldenGateジャーナル化ナレッジ・モジュールが更新され、統合キャプチャと配信がサポートされるようになりました。これらの新機能によってパフォーマンスが高まり、スケーラビリティとロード・バランシングが向上します。
詳細は、『Oracle Data Integrator接続およびナレッジ・モジュール・ガイド』のOracle GoldenGateに関する項を参照してください。
キューブとディメンションをサポートするETLの拡張
Oracle Data Integratorに、キューブとディメンションという2つのタイプのディメンション・オブジェクトのサポートが導入されます。マッピングで直接キューブおよびディメンション・オブジェクトを作成および使用できるようになり、ディメンション・オブジェクトのロードを自動化する即時利用可能なパターンによって開発コストが削減されます。
詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』のディメンションおよびキューブの作成および使用に関する項を参照してください。
ビッグ・データ構成ウィザード
ODI Studio Galleryで新規のビッグ・データ構成ウィザードを使用できるようになり、Hadoop、HiveまたはSparkなどのHadoop技術向けのトポロジ・オブジェクトを構成するための単一のエントリ・ポイントとなります。
詳細は、Oracle Data Integratorでのビッグ・データの統合のビッグ・データ構成ウィザードを使用したビッグ・データ技術の構成に関する項を参照してください。
Oracle Data Integrator 12c (12.2.1)では、次の機能が強化されています。
ビッグ・データの機能強化: Oozie実行モード
Oozieワークフローを生成するためにタスクおよびセッション実行モードを選択できるようになりました。新しいセッション・モードにより、パッケージのトランザクション、スクリプトおよびループのサポートが可能です。ODIは実行されたオブジェクトに基づいて正しいモードを自動的に選択します。または、モードを手動で選択することもできます。
ビッグ・データの機能強化はODI 12.1.3.0.1で利用でき、このリリースで改善されていることに注意してください。ビッグ・データの機能強化の詳細は、「リリース12c (12.1.3.0.1)での新機能と変更点」を参照してください。
ODIオブジェクトのライフサイクル管理
Oracle Data IntegratorとSubversionが統合されたため、SubversionでODIオブジェクトをバージョン・コントロールする機能が提供されています。Subversionの詳細は、Subversion Webサイトを参照してください。
Subversion統合機能を使用すると、タグを作成してODIオブジェクト・バージョンのスナップショットを取得できます。分散した場所の並行開発または複数のリリースの並行開発のためのブランチを作成できます。
リリース管理機能は、開発環境とデプロイメント環境を区別するために導入されています。開発環境から、テスト用のQA環境にデプロイして本場環境に配布できるデプロイメント・アーカイブ(DA)を作成できます。ODI Studioまたはコマンドラインを使用して、DAを作成できます。
グローバルODIオブジェクトを共有するためのODI交換
公式またはサードパーティの更新センターでオラクル社または他のODIユーザーが提供するグローバルODIオブジェクトを参照、ダウンロードおよびインストールできるようになりました。この機能は、グローバル・ナレッジ・モジュール、グローバル・ユーザー関数およびマッピング・コンポーネントに対して使用できます。ODI Studioの「ヘルプ」メニューの「更新の確認」メニュー項目を使用して、更新センターに接続してグローバルODIオブジェクトを取得できます。
複合ファイルの機能強化
ネイティブ・フォーマット・ビルダー・ユーティリティがODI Studioに付属されたため、ODIユーザー・インタフェースを終了せずにnXSDファイルを作成できます。
複合ファイル、ファイル、LDAP、JMSキューXML、JMSトピックXMLおよびXMLテクノロジの機能強化
複合ファイル、ファイル、LDAP、JMSキューXML、JMSトピックXMLおよびXMLテクノロジのすべてのJDBCプロパティがデフォルト値(該当する場合)およびプロパティの説明とともにデータ・サーバー・レベルで表示されるようになったため、ユーザビリティが強化されています。
XMLおよび複合JDBCドライバの事前/事後処理
データをXMLおよび複合ファイル・ドライバに提供する方法をカスタマイズできるようになりました。この機能により、Oracle Data Integratorを使用して外部エンドポイントから取得しているか、外部エンドポイントに書き出すデータを処理するために追加される中間処理ステージのサポートが追加されます。この機能により、ODI XMLまたは複合ファイルJDBCドライバを使用するデータ・サーバーの構成の一部として中間処理ステージの複合構成のサポートも提供されます。
Webサービス・サポートの向上
新しいSOAP Webサービス・テクノロジをトポロジで使用できるようになり、Webサービス用のデータ・サーバー、物理スキーマおよび論理スキーマを作成できます。Oracle Web Service Management (OWSM)ポリシーもWebサービス・データ・サーバーにアタッチできます。また、OdiInvokeWebServiceツールが強化され、コンテキストおよび論理スキーマを介してWebサービス・データ・サーバーがサポートされます。
インポート/エクスポートおよびリバース・エンジニアリング操作を取り消す機能
長時間実行されている可能性があるインポート/エクスポートおよびリバース・エンジニアリング操作を取り消すことができるようになりました。
分析またはウィンドウ関数のサポート
即時利用可能な分析またはウィンドウ関数がマッピング・レベルでサポートされるようになりました。PERCENT_RANK、LAST、FIRSTまたはLAGなどの分析関数を任意のコンポーネントのマッピング式レベルで使用できます。
Oracle接続の機能強化
パーティション交換ロードを実行する新しいナレッジ・モジュールを使用できるようになり、必要に応じてパーティションをスワップできます。また、外部表を使用してロード・ナレッジ・モジュールを改善し、一度に複数のファイルをロードできるようになりました。データ・ポンプを使用したナレッジ・モジュールも改善されました。
Oracle Enterprise Data Qualityの統合の機能強化
新しいOracle Enterprise Data Quality (EDQ)テクノロジをトポロジで使用できるようになり、EDQ用のデータ・サーバー、物理スキーマおよび論理スキーマを作成できます。また、OdiEnterpriseDataQualityツールが強化され、コンテキストおよび論理スキーマを介してEDQデータ・サーバーがサポートされます。
Studio/リポジトリに接続されたユーザーのリストを表示する機能
「ユーザー・アクティビティの確認」メニュー項目が「セキュリティ」メニューに追加されました。これを使用して、「ユーザー接続」ダイアログでユーザー・アクティビティ・レコードを表示、パージおよび保存できます。この機能は、ODI StudioとODIコンソールで使用できます。
ODIコンソールの機能強化
ODIコンソール全体のルック・アンド・フィールが改善されました。ユーザーまたはプロファイルの作成などのセキュリティ・タスクをODIコンソールで実行できるようになりました。また、リリース管理アクティビティをODIコンソールで実行できるようになり、トポロジ・アクティビティに関連する機能が強化されました。
Oracle Data Integrator 12c (12.1.3.0.1)では、次の機能が強化されています。
SparkおよびPigを使用したODIマッピングの実行
ODIを使用すると、実装言語から独立した論理設計を介してマッピングを定義できます。Hadoopベースの変換の場合、生成される変換言語としてHive、SparkおよびPigから選択できます。これにより、環境やユースケースに基づいて最適な実装を選択できるようになります。また、複数の物理設計を使用して様々な実装を同時に選択することもできます。この選択により、ビッグ・データを柔軟で将来性のある方法で開発できるようになります。
Pig Latin変換の生成: ODIマッピング用の変換言語および実行エンジンとしてPig Latinを選択できます。Apache Pigは、Hadoopで大規模なデータ・セットを分析するためのプラットフォームであり、データ分析プログラムを表現するための高度な言語であるPig Latinを使用します。Pig変換はすべてLocalモードまたはMapReduceモードで実行できます。カスタムPigコードは、ユーザー定義の関数または表関数コンポーネントを介して追加できます。
Spark変換の生成: ODIマッピングでは、Sparkプログラミング・モデルをPython言語で公開するPySparkを生成することもできます。Apache Sparkは、大規模なデータ処理用の変換エンジンです。これにより、大規模なデータ・セットの高速なインメモリー処理が可能になります。カスタムPySparkコードは、ユーザー定義の関数または表関数コンポーネントを介して追加できます。
Oozieを使用したODIジョブの編成
現在、マッピング、パッケージ、シナリオおよびプロシージャなどのODIジョブ用の編成エンジンとして従来のODI AgentとApache Oozieのどちらかを選択できます。Apache Oozieを使用すると、編成用のODI環境をインストールせずにHadoopインフラストラクチャで完全なネイティブ実行が可能になります。Oozieツールを使用して、ODIジョブをスケジュール、管理および監視できます。ODIでは、Oozieのネイティブ・アクションを使用してHadoopプロセスおよび条件付きブランチ処理ロジックを実行します。
拡張Hiveドライバおよびナレッジ・モジュール
ODIには、全体的なJDBCへの準拠やパフォーマンスの向上など、Apache Hiveドライバと比べて多くのメリットを備えたWebLogic Hive JDBCドライバが用意されています。Hiveナレッジ・モジュールはすべて、この新しいドライバのメリットを活用できるようにリライトされています。また、現在、ソースからロードすることが主な目的であるナレッジ・モジュールは、ロード・ナレッジ・モジュールとして提供されているため、1回のマッピングで他のロード・ナレッジ・モジュールと結合できます。直接ロード型の新しいクラスであるロード・ナレッジ・モジュールを使用すると、中間ステージングなしでターゲットをロードすることもできます。表関数コンポーネントは、Hive構造体をサポートできるよう拡張されています。
Hadoop監査ログの取得
ODIでは、Oozie、Pigおよび他のタスクの実行用として、Hadoop監査ログからの結果をオペレータ・タスクに統合します。ログ結果には、MapReduce統計が表示され、ネイティブWebコンソール内のHadoop統計へのリンクが提供されます。
ODIファイル・ツールでのHDFSアクセス
ODIパッケージおよびプロシージャで使用されるファイルベースのツールが拡張され、Hadoop分散ファイルシステム(HDFS)ファイル処理が組み込まれました。これには、ファイルのコピー、移動、追加および削除、ファイル変更の検出、フォルダの管理、FTPを使用したHDFSへのファイルの直接転送が含まれます。
フラット・コンポーネントおよび不規則コンポーネント
マッピング用の新しいフラット・コンポーネントを使用すると、複雑なサブ構造を属性のフラット・リストの一部として処理できます。新しい不規則コンポーネントにより、キーと値のリストが名前付き属性に変換され、追加処理が可能になります。
ODIドキュメント・セットに追加された新規ビッグ・データ・ガイド
新しいガイド『Oracle Data Integratorとのビッグ・データの統合』が、ODIドキュメント・セットに追加されました。このガイドでは、ビッグ・データの統合、Oozieワークフローのデプロイと実行、およびPig LatinやSparkなどの言語でのコードの生成を行う方法が説明されています。
Oracle Data Integrator 12c (12.1.3)では、次の機能が強化されています。
ODI FIPS準拠
ODIでは、ナレッジ・モジュール、プロシージャ、シナリオ、アクションおよびパスワードを暗号化するための標準暗号化アルゴリズムとしてAdvanced Encryption Standard (AES)が使用されるようになりました。要件に合せて暗号化アルゴリズムおよびキー長を構成できます。リポジトリ・エクスポートに含められるパスワードおよびその他の機密情報は、暗号化され、パスワードで保護されるようになりました。
詳細は、「Advanced Encryption Standard」を参照してください。
ODI XMLドライバの機能強化
次に示すXMLスキーマのサポート強化が追加されています。
再帰: ODIでは、XMLスキーマ内部の再帰がサポートされるようになりました。
any、anyTypeおよびanyAttribute: これらの型により定義されたデータは、元のドキュメントのXMLマークアップを使用して文字列型の列に格納されます。
使用する表名、列名、型、長さおよび精度をODI XMLドライバに指示するためのメタデータ注釈をXMLスキーマ内部に追加できます。
詳細は、『Oracle Data Integrator接続およびナレッジ・モジュール・ガイド』の「Oracle Data Integrator Driver for XMLの参照情報」を参照してください。
JSONのサポート
ODI複合ファイル・ドライバでは、JSON形式のファイルの読取りと書込みが可能になりました。JSON構造はnXSDスキーマを介して定義されます。
詳細は、『Oracle Data Integrator接続およびナレッジ・モジュール・ガイド』のJSONのサポートに関する項を参照してください。
Hadoop SQOOP統合
ODIでは、Hadoop SQOOPを使用して、次のソースおよびターゲットをロードできるようになりました。
ナレッジ・モジュールIKM File-Hive to SQL (SQOOP)を使用したリレーショナル・データベースからHDFS、HiveおよびHBaseへのロード
ナレッジ・モジュールIKM SQL to Hive-HBase-File (SQOOP)を使用したHDFSおよびHiveからリレーショナル・データベースへのロード
SQOOPを使用すると、Hadoop Map-ReduceプロセスでパラレルJDBC接続を使用したメカニズムのロードとアンロードが可能になります。
Hadoop HBase統合
ODIでは、新しいテクノロジおよび次のナレッジ・モジュールを介してHadoop HBaseがサポートされるようになりました。
LKM HBase to Hive (HBase-SerDe)
IKM Hive to HBase Incremental Update (HBase-SerDe)
RKM HBase
Hive Appendの最適化
Hiveへの書込みを行うナレッジ・モジュールでは、Hive 0.8+機能がサポートされるようになり、既存のデータを新しい追加済ファイルにコピーせずに、データを既存のデータ・ファイルに追加できるようになりました。
ODIエンジンへのマルチスレッドのターゲット表ロード
ODIでは、複数のパラレル接続を使用してターゲット表をロードできるようになりました。この機能は、データ・サーバーの「ターゲットの並列度」プロパティを介して制御します。
詳細は、「データ・サーバーの作成」を参照してください。
シナリオおよびロード計画の同時実行に対する制御の向上
シナリオまたはロード計画の同時実行を制限し、同時実行の待機または実行エラーの発生を強制できるようになりました。
詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』のシナリオおよびロード計画の同時実行の制御に関する項を参照してください。
新規モデルおよびトポロジ・オブジェクトの作成
デザイナ・ナビゲータの「新規モデルとトポロジ・オブジェクト」ダイアログで、新規のモデルを作成し、それを新規または既存のトポロジ・オブジェクトと関連付けることができます(作業リポジトリに接続されている場合)。このダイアログでは、トポロジ・エディタを使用しなくてもトポロジ・オブジェクトを作成できます(より詳細なオプションが必要な場合を除く)。
詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』のモデルおよびトポロジ・オブジェクトの作成に関する項を参照してください。
ドキュメントの変更
以前のOracle Data Integratorの開発者ガイドの記載内容が再編成されました。ODIドキュメント・ライブラリに次の新しいガイドが追加されました。
Oracle Data Integratorの理解
Oracle Data Integratorの管理
Oracle Data Integrator Toolsリファレンス
詳細は、『Oracle Data Integratorでの統合プロジェクトの開発』の「Oracle Data Integratorの新機能」を参照してください。
Oracle Data Integrator 12c (12.1.2)では、次の機能が強化されています。
宣言的なフローベースのユーザー・インタフェース
新しい宣言的なフローベースのユーザー・インタフェースは、宣言的アプローチの単純さおよび使いやすさと、構成可能なフローの柔軟性および拡張性をあわせ持っています。マッピング(Oracle Data Integrator 11gの概念であるインタフェースの後継概念)により、結合、フィルタ、集計、設定、分割などのコンポーネントのフロー全体で、ソースがターゲットに関連付けられます。
再使用可能マッピング
再使用可能マッピングを使用して、複数のマッピングで再使用できるフロー・セクションをカプセル化できます。再使用可能マッピングには、包含フローに接続する入力および出力シグネチャを設定でき、再使用可能マッピング内にカプセル化されるソースとターゲットを含めることもできます。
複数ターゲットのサポート
マッピングにより、単一フローの一部として複数のターゲットをロードできます。ターゲットのロード順を指定でき、オプションで分割コンポーネントを使用して行を1つ以上の条件に基づいて異なるターゲットにルーティングできます。
段階的なデバッガ
マッピング、パッケージ、プロシージャおよびシナリオを段階的なデバッガでデバッグできます。これらのオブジェクト内のタスク実行を手動でトラバースし、事前に定義された位置で実行を中断するようにブレークポイントを設定できます。デバッグ・セッション中に変数の値をイントロスペクトおよび変更でき、コミットされていないトランザクションのコンテンツなど、基礎となるソースおよびターゲットのデータを問合せできます。
ランタイム・パフォーマンスの向上
パフォーマンスを向上させるためにランタイム実行が改善されました。セッションのキャッシュされた実行計画であるブループリントの導入など、セッション実行のオーバーヘッドを削減するために様々な変更が行われました。
ソースをステージング領域に並列してロードすることで、パフォーマンスが向上します。ロードの並列化は、マップの物理ビューでカスタマイズできます。
一時データベース・オブジェクトに一意の名前を使用して、同じマッピングを並列して実行することもできます。
Oracle GoldenGateの統合の改善
チェンジ・データ・キャプチャ(CDC)フレームワークのソースとしてのOracle GoldenGateの統合が次の領域で改善されました。
Oracle GoldenGateのソースおよびターゲット・システムは、トポロジのデータ・サーバーとして構成されるようになりました。抽出およびレプリケート・プロセスは、物理スキーマと論理スキーマによって表現されます。トポロジにおけるこのような表現により、一般的なコンテキスト方針に従って複数のコンテキストを個別に構成できます。
ほとんどのOracle GoldenGateパラメータを物理スキーマ構成の抽出およびレプリケート・プロセスに追加できるようになりました。UIでは、リストからのパラメータの選択がサポートされます。これにより、Oracle GoldenGateパラメータ・ファイルを生成後に変更する必要性が最小限に抑えられます。
1つのマッピングをターゲットのジャーナル化されたCDCロードとバルク・ロードに使用できるようになりました。これを有効にするには、Oracle GoldenGateレプリケーション・ターゲットではなくソース・モデルを使用したOracle GoldenGate JKMを使用し、デプロイメント仕様の一部としてマッピングでジャーナル化を構成します。複数のデプロイメント仕様をジャーナル化されたロードおよびバルク・ロード用に1つのマッピングで使用できます。
JAgentテクノロジを使用して、Oracle GoldenGateパラメータ・ファイルをソースおよびターゲットのOracle GoldenGateインスタンスに自動的にデプロイし、開始できるようになりました。
WebLogic Management Frameworkを使用したスタンドアロン・エージェント管理
Oracle Data Integratorスタンドアロン・エージェントをWebLogic Management Frameworkから管理できるようになりました。これには、次のような利点があります。
構成ウィザードを使用したUI駆動の構成
複数の構成を個別のドメインで保守可能
ノード・マネージャを使用した、エージェントの管理および自動再起動
OPSSエンタープライズ・ロールとの統合
Oracle Data IntegratorでOracle Platform Security Services (OPSS)を使用してリソースへのアクセスを制御できるようになりました。エンタープライズ・ロールをOracle Data Integratorロールにマッピングして、様々なツールにわたってエンタープライズ・ユーザーに権限を与えることができます。
XMLの改善
次のXMLスキーマ構造がサポートされるようになりました。
リストおよび和集合: リストまたは和集合ベースの要素はVARCHAR列にマッピングされます。
substitutionGroup: 置換グループに基づく要素によって、置換グループのすべてのタイプそれぞれに表が作成されます。
複合コンテンツ: 複合コンテンツを含む要素は、要素のテキストとマークアップ・コンテンツを含むVARCHAR列にマッピングされます。
注釈: XMLスキーマの注釈のコンテンツは、表メタデータに格納されます。
Oracle Warehouse Builderとの統合
Oracle Warehouse Builder (OWB)ジョブは、OdiStartOwbJobツールを使用してOracle Data Integratorで実行できるようになりました。OWBリポジトリは、トポロジのデータ・サーバーとして構成されます。OWBジョブ実行のすべての詳細がオペレータ・ツリーにセッションとして表示されます。
一意のリポジトリID
マスター・リポジトリおよび作業リポジトリでは、GUIDの規則に従って一意のIDが使用されるようになりました。これにより、アーティファクトのインポート時の衝突が回避され、組織内の複数のリポジトリを容易に管理および統合できます。
