| Oracle® Big Data Spatial and Graphユーザーズ・ガイドおよびリファレンス リリース1.1 E70114-02 |
|
 前 |
 次 |
Oracle Big Data Spatial and Graphでは、サポートされているApache HadoopおよびNoSQL Database Big Dataプラットフォームに高度な空間およびグラフ分析機能を提供します。
空間機能では、場所に関する情報のデータ・エンリッチメント、距離と場所による分析に基づいた空間のフィルタ処理とびカテゴリ化、およびデジタル地図、センサー、衛星画像と航空画像の値のベクトルおよびラスター処理を行う空間データ処理、地図のビジュアル化のためのAPIをサポートしています。
プロパティ・グラフ機能では、グラフ操作、索引付け、問合せ、検索、およびインメモリー分析のためにApache Hadoop HBaseおよびOracle NoSQL Databaseをサポートしています。
マルチメディア分析機能では、OpenCVを使用する組込みの顔認識を含め、Apache Hadoopの動画や画像データを処理するフレームワークを提供します。
空間場所情報は、Big Dataでは共通の要素です。ビジネスでは、異なるデータ・セットの関連付けとリンクのベースとして、空間データを使用できます。場所に関する情報は、別の人物、場所、オブジェクトに基づいて、あるいは特定のエリアでの存在に基づくエンティティの追跡とカテゴリ化にも使用できます。場所に関する情報によって、特定の地理に進む顧客に場所固有のジオフェンシングと呼ばれる情報提供を促進します。ジオリファレンスされた画像データや知覚データの分析は、ビジネスに様々なメリットをもたらします。
Oracle Big Data Special and Graphの空間機能では、次の各種サービスでこのようなユースケースをサポートしています。
ベクトル・サービス:
ドキュメントとデータを、デフォルトの管理階層用に空間オブジェクト定義の都市や州、またはベクトルおよびラスター処理を行う空間データ処理緯度/経度情報と関連付ける機能
GeoJSONファイル、Shapefiles、GML、およびWKTを含むテキストベースの2次元および3次元の地理空間形式のサポート、またはGeospatial Data Abstraction Library (GDAL)を使用したOracle SDO_Geometry, ST_Geometry、その他のサポート対象の形式の一般的な地理空間エンコーディングの使用
データを様々な形式と座標系で調べ、カテゴリ化し、表示するためのHTML5ベースのマップ・クライアントAPIとサンプル・コンソール
位相的操作および距離演算: Anyinteract、Inside、Contains、Within Distance、Nearest Neighborなど
データ簡易取得用の空間索引付け
ラスター・サービス:
GDALでサポートされている多数のイメージ・ファイル形式、およびHDFSに格納されているイメージ・ファイルのサポート
使用できる一連のイメージを表示するサンプル・コンソール
ラスター操作、包括、サブセット、ジオリファレンス、モザイク、および形式変換
グラフは頂点、エッジ、および頂点とエッジのプロパティとしてリンクされたデータのネットワークを管理します。グラフは一般的に、ソーシャル・ネットワーキング、サイバー・セキュリティ、ユーティリティおよび通信、ライフ・サイエンスと臨床データ、ナレッジ・ネットワークで検出される関係のモデル化、格納、および分析に使用されます。
標準的なグラフ分析には、グラフのトラバース、推奨、コミュニティおよびインフルエンサの検出、パターン一致などがあります。グラフは、通信、ライフ・サイエンスおよびヘルスケア、セキュリティ、メディアおよび出版などの業種に活用できます。
Oracle Big Data Special and Graphのプロパティ・グラフ機能では、次の機能でこのようなユースケースをサポートしています。
Apache HBaseおよびOracle NoSQL Databaseでのスケーラブルなグラフ・データベース
Tinkerpop Blueprintsに基づく開発者ベースのAPI、およびJavaグラフAPI
Apache LuceneおよびSolrCloudとの相互作用によるテキスト検索および問合せ
GroovyおよびPythonのスクリプト言語サポート
並列のインメモリーグラフ分析エンジン
ランキング、中心性、レコメンダ、コミュニティ検出、パス検索など、簡単でスケーラブルな一連のソーシャル・ネットワーク分析機能
Oracle定義のフラット・ファイル形式でのプロパティ・グラフ・データの並列バルク・ロードおよびエクスポート
JavaおよびTinkerpop Gremlin APIを実行するためのGroovyベース・コンソールによる管理機能
「プロパティ・グラフのサイズ変更の推奨事項」も参照してください
プロパティ・グラフのインストールについての推奨事項を次に示します。
表1-1 プロパティ・グラフのサイズ変更の推奨事項
| グラフ・サイズ | 推奨の専用物理メモリー | 推奨のCPUプロセッサ数 |
|---|---|---|
10から100Mエッジ |
14GB RAMまで |
2から4プロセッサ、計算が集中するワークロードの場合は16プロセッサまで |
100Mから1Bエッジ |
14GBから100GB RAM |
4から12プロセッサ、計算が集中するワークロードの場合は16から32プロセッサまで |
1Bエッジ以上 |
100GB RAM以上 |
12から32プロセッサ、特に計算が集中するワークロードの場合はそれ以上 |
Oracle Big Data Spatial and Graphのマルチメディア分析機能は、Apache Hadoopでビデオおよびイメージ・データを処理するためのフレームワークを提供します。このフレームワークにより、ビデオおよびイメージ・データの分散処理が可能になります。
主なユースケースとしては、ビデオとイメージでの顔認識の実行があります。
Oracle Big Data Applianceソフトウェアをインストールおよび構成するためのMammothコマンドライン・ユーティリティを使用して、空間、プロパティ・グラフおよびマルチメディアの機能を含むOracle Big Data Spatial and Graphオプションをインストールすることもできます。このオプションは、初期ソフトウェア・インストール時、またはbdacliユーティリティの使用後に有効にできます。
Oracle NoSQL Databaseをグラフ・リポジトリとして使用するには、Oracle NoSQL Databaseクラスタが必要です。
Apache HBaseをグラフ・リポジトリとして使用するには、Apache Hadoopクラスタが必要です。
関連項目:
ソフトウェア構成手順の詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。
ソフトウェア構成手順の詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。
Image Processing Frameworkのインストールおよび構成は、使用しているディストリビューションに応じて異なります。
Oracle Big Data Applianceクラスタのディストリビューションは、設定があらかじめインストールされていますが、これを有効にするには、「Oracle Big Data ApplianceディストリビューションのためのImage Processing Frameworkのインストール」の手順の一部を実行する必要があります。
製品のディストリビューションについては、「その他のディストリビューション(Oracle Big Data Appliance以外)のImage Processing Frameworkのインストール」の手順に従ってください。
インストール後は、これを検証します(「Image Processing Frameworkのインストール後の検証」を参照)。
Oracle Big Data Applianceのディストリビューションでは、構成があらかじめインストールされています。ただし、これが確実に機能するように次のアクションを実行してください。
/opt/shareddir/spatialでALL_ACCESS_FOLDERを特定します。
libproj.so (Proj.4) Cartographic Projections Libraryをユーザーがアクセスできるようにし、次のようにlibproj.soを/opt/oracle/oracle-spatial-graph/spatial/gdal/lib,のgdal/libフォルダにコピーします。
cp libproj.so /opt/oracle/oracle-spatial-graph/spatial/gdal/lib
次のように、libproj.soライブラリの読取りおよび実行権限をすべてのユーザーに与えます。
chmod 755 /opt/oracle/oracle-spatial-graph/spatial/gdal/lib/libproj.so
Big Data Appliance以外の環境のBig Data Spatial and Graphでは、このセクションの次の手順を実行します。
HADOOP_LIB_PATHが/usr/lib/hadoopにあることを確認します。ない場合はパスを検索し、HADOOP_LIB_PATHとして使用します。
NFSをインストールします。
1つ以上のフォルダを作成し、このドキュメントでSHARED_FOLDERとして参照し、リソース・マネージャ・ノードではNFSからすべてのノード・マネージャ・ノードにアクセス可能にします。
ジョブ実行に関連するすべてのユーザー、およびyarnユーザーにこのSHARED_FOLDERへの書込みアクセス権を付与します
oracle-spatial-graph-<version>.x86_64.rpmをOracle E-Delivery Webサイトからダウンロードします。
rpmコマンドを使用してoracle-spatial-graph-<version>.x86_64.rpmを実行します。
rpmの実行後は、/opt/oracle/oracle-spatial-graph/spatialで作成したディレクトリ構造にフォルダconsole、examples、jlib、gdal、およびtestsがあることを確認します。また、index.htmlはコンテンツを表し、HadoopRasterProcessorAPI.zipにはAPIのJavadocがあります。
いくつかのテスト用スクリプトが用意されており、イメージのロード機能、イメージの処理機能、DEMでの勾配計算の処理クラス、およびマップ代数演算をテストできます。これらのスクリプトを実行して、イメージ処理フレームワークが正常にインストールされたことを検証します。
スクリプトを実行するには、現在のユーザーがhdfsユーザーであることを確認してください。スクリプトを実行する前にこのユーザーに切り替え、このユーザーに必要なディレクトリへの書込みアクセス権があることを確認します。
sudo su - hdfs
このスクリプトでは、4つのテスト・ラスターのセットをHDFSのohiftestフォルダにロードしますが、そのうち3つのラスターはバイト・データ型と3つの帯域、1つのラスター(DEM)はfloat32データ型と1つの帯域です。OBDA環境にはパラメータは不要であり、OBDA以外の環境では、$ALL_ACCESS_FOLDER値のあるパラメータが1つ必要です。
内部的には、ジョブによってロード対象のラスターごとに分割が作成されます。分割サイズはブロック・サイズ構成によって決まります。たとえば、ブロック・サイズが64MB以下と構成されると、4つのマッパーが実行されます。その結果、ラスターがHDFSでロードされ、対応するサムネイルが作成され、視覚化されます。サムネイルを視覚化するには外部イメージ・エディタが必要であり、これらのサムネイルの出力パスは、ジョブの完了時にユーザーに表示されます。
テスト・スクリプトは次の場所にあります。
/oracle/oracle-spatial-graph/raster/tests/runimageloader.sh
ODBA環境の場合は、次を入力します。
./runimageloader.sh
ODBA以外の環境の場合は、次を入力します。
./runimageloader.sh ALL_ACCESS_FOLDER
実行が完了すると、ファイルのある場所を示すHDFS内のパス(このパスはALL_ACCESS_FOLDERの定義によって異なります)、およびHDFSに作成されたイメージとサムネイルのリストを示すメッセージGENERATED OHIF FILES ARE LOCATED IN HDFS UNDERが表示されます。出力には次が含まれます。
“THUMBNAILS CREATED ARE: ---------------------------------------------------------------------- total 13532 drwxr-xr-x 2 yarn yarn 4096 Sep 9 13:54 . drwxr-xr-x 3 yarn yarn 4096 Aug 27 11:29 .. -rw-r--r-- 1 yarn yarn 3214053 Sep 9 13:54 hawaii.tif.ohif.tif -rw-r--r-- 1 yarn yarn 3214053 Sep 9 13:54 kahoolawe.tif.ohif.tif -rw-r--r-- 1 yarn yarn 3214053 Sep 9 13:54 maui.tif.ohif.tif -rw-r--r-- 1 yarn yarn 4182040 Sep 9 13:54 NapaDEM.tif.ohif.tif YOU MAY VISUALIZE THUMBNAILS OF THE UPLOADED IMAGES FOR REVIEW FROM THE FOLLOWING PATH:
インストールと構成が正常に終了しなかった場合は、出力は生成されず、次のようなメッセージが表示されます。
NOT ALL THE IMAGES WERE UPLOADED CORRECTLY, CHECK FOR HADOOP LOGS
このスクリプトでは、ハワイ諸島の3つのソース・ラスターとその3つをすべて含む座標のいくつかを設定して、プロセッサ・ジョブを実行します。このジョブでは、これらの座標に基づいてモザイクを作成し、その結果のラスターには、3つのラスターが1つにまとめられます。
runimageloader.shが前提条件として実行されるため、ソース・ラスターはHDFSにあります。バイト・データ型の3つの帯域ラスターがあります。
OBDA環境にはパラメータは不要であり、OBDA以外の環境では、$ALL_ACCESS_FOLDER値のある"-s"パラメータが1つ必要です。
また、出力をHDFSに格納する場合は、"-o"パラメータを使用して、モザイク出力を格納するHDFSフォルダを設定します。
内部的に、ジョブは構成入力のxmlで指定されている座標を使用して四角形をフィルタ処理し、必要な四角形のみをマッパー上で処理するためフェーズが減少し、そのすべてを最終的なモザイク・ラスターにまとめられます。
テスト・スクリプトは次の場所にあります。
/oracle/oracle-spatial-graph/raster/tests/runimageprocessor.sh
ODBA環境の場合は、次を入力します。
./runimageprocessor.sh
ODBA以外の環境の場合は、次を入力します。
./runimageprocessor.sh -s ALL_ACCESS_FOLDER
実行が完了すると、ファイルのある場所を示すHDFS内のパス(このパスはALL_ACCESS_FOLDERの定義によって異なります)、およびHDFSに作成されたイメージとサムネイルのリストを示すメッセージEXPECTED OUTPUT FILE ISが表示されます。出力には次が含まれます。
ALL_ACCESS_FOLDER/processtest/hawaiimosaic.tif total 9452 drwxrwxrwx 2 hdfs hdfs 4096 Sep 10 09:12 . drwxrwxrwx 9 zherena dba 4096 Sep 9 13:50 .. -rwxrwxrwx 1 yarn yarn 4741101 Sep 10 09:12 hawaiimosaic.tif MOSAIC IMAGE GENERATED ---------------------------------------------------------------------- YOU MAY VISUALIZE THE MOSAIC OUTPUT IMAGE FOR REVIEW IN THE FOLLOWING PATH: ALL_ACCESS_FOLDER/processtest/hawaiimosaic.tif”
インストールと構成が正常に終了しなかった場合は、出力は生成されず、次のようなメッセージが表示されます。
MOSAIC WAS NOT SUCCESSFULLY CREATED, CHECK HADOOP LOGS TO REVIEW THE PROBLEM
HDFSでの出力記憶域をテストするには、次のコマンドを使用します
ODBA環境の場合は、次を入力します。
./runimageprocessor.sh -o hdfstest
ODBA以外の環境の場合は、次を入力します。
./runimageprocessor.sh -s ALL_ACCESS_FOLDER -o hdfstest
このスクリプトはナパ・バレー北部のDEMソース・ラスター、およびそれを取り囲む座標を使用してプロセッサ・ジョブを実行します。このジョブでは、これらの座標に基づいてモザイクを作成し、モザイク構成XMLで処理クラスを設定して、その傾斜も計算します。
runimageloader.shが前提条件として実行されるため、ソース・ラスターはHDFSにあります。バイト・データ型の3つの帯域ラスターがあります。
OBDA環境にはパラメータは不要であり、OBDA以外の環境では、$ALL_ACCESS_FOLDER値のある"-s"パラメータが1つ必要です。
テスト・スクリプトは次の場所にあります。
/oracle/oracle-spatial-graph/raster/tests/runimageprocessordem.sh
ODBA環境の場合は、次を入力します。
./runimageprocessordem.sh
ODBA以外の環境の場合は、次を入力します。
./runimageprocessordem.sh -s ALL_ACCESS_FOLDER
実行が完了すると、ファイルのある場所を示すHDFS内のパス(このパスはALL_ACCESS_FOLDERの定義によって異なります)、およびHDFSに作成されたイメージとサムネイルのリストを示すメッセージEXPECTED OUTPUT FILE: ALL_ACCESS_FOLDER/processtest/NapaSlope.tifが表示されます。出力には次が含まれます。
EXPECTED OUTPUT FILE: ALL_ACCESS_FOLDER/processtest/NapaSlope.tif total 4808 drwxrwxrwx 2 hdfs hdfs 4096 Sep 10 09:42 . drwxrwxrwx 9 zherena dba 4096 Sep 9 13:50 .. -rwxrwxrwx 1 yarn yarn 4901232 Sep 10 09:42 NapaSlope.tif MOSAIC IMAGE GENERATED ---------------------------------------------------------------------- YOU MAY VISUALIZE THE MOSAIC OUTPUT IMAGE FOR REVIEW IN THE FOLLOWING PATH: ALL_ACCESS_FOLDER/processtest/NapaSlope.tif”
インストールと構成が正常に終了しなかった場合は、出力は生成されず、次のようなメッセージが表示されます。
MOSAIC WAS NOT SUCCESSFULLY CREATED, CHECK HADOOP LOGS TO REVIEW THE PROBLEM
また、“if”代数関数もテストして、このラスターで2500を超える値のあるピクセルすべてを、コマンドラインで“–c”フラグを使用して設定した値で置き換えます。次に例を示します。
ODBA環境の場合は、次を入力します。
./runimageprocessordem.sh –c 8000
ODBA以外の環境の場合は、次を入力します。
./runimageprocessordem.sh -s ALL_ACCESS_FOLDER –c 8000
出力ファイルを視覚化すると、単純な傾斜計算と変更後の出力に注目し、ピクセル値が2500を超えているエリアがより鮮明になることを確認できます。
Oracle Big Data Spatial Image Serverから、イメージのロードおよび処理のためのWebインタフェースを提供するイメージ処理フレームワークにアクセスできます。
Spatial Image Serverのインストールおよび構成は、使用しているディストリビューションに応じて異なります。
インストール後は、これを検証します(「Image Serverコンソールのインストール後の検証の例」を参照)。
このトピックでは、次の手順に従います。
/opt/oracle/oracle-spatial-graph/spatial/jlib/gdal.jarのgdal.jarファイルを$JETTY_HOME/lib/extにコピーします。
/opt/oracle/oracle-spatial-graph/spatial/conf/jetty-imgserver-realm.propertiesファイルを$JETTY_HOME/etcフォルダにコピーします
$JETTY_HOME/etc/jetty-imgserver-realm.propertiesファイルを編集してパスワードとロールを追加します
<password>を削除して新しいパスワードを入力します。
<admin_role>テキストから<>を削除してadmin_roleを保持します。
java -jar $JETTY_HOME/start.jarを実行してjettyサーバーを起動します。
http://thehost:8080/imageserver/console.jspのアドレスをブラウザのアドレス・バーに入力して、コンソールを開きます。
「Oracle Big Data ApplianceでのImage Server Webのインストール」で作成した資格証明を使用してコンソールにログインします。
「Hadoop Configuration Parameters」セクションの「Configuration」タブから、クラスタ構成に応じてこの3つのプロパティを変更します
fs.defaultFS: ユーザーのクラスタで有効なnamenodeをhdfs://<namenode>:8020の形式で入力します(この情報については、管理者に確認してください)。
yarn.resourcemanager.scheduler.address: ユーザーのクラスタの有効なリソース・マネージャ。<shcedulername>:8030。これはスケジューラ・アドレスです。
yarn.resourcemanager.address: <resourcename>:8032形式の有効なリソース・マネージャ・アドレス
注意:
構成の他の部分については、デフォルト値のままにします。これらはOracle Big Data Applianceクラスタ環境にあらかじめロードされています。
「Apply Changes」をクリックして、変更を保存します。
ヒント:
不足している構成情報については、コンソールの「Hadoop Loader」タブで確認できます。
このトピックでは、次の手順に従います。
「その他のディストリビューションのImage Processing Frameworkをインストールするための前提条件」に示す手順を実行します。
「その他のディストリビューションのImage Processing Frameworkのインストール」に示す手順を実行します。
「環境の構成」に示す手順を実行します。
「Oracle Big Data ApplianceでImage Serverをインストールするための前提条件」に示す手順を実行します。
「Oracle Big Data ApplianceでのImage Server Webのインストール」に示す手順を実行します。
「環境の構成」に示す手順を実行します。
http://thehost:8080/imageserver/console.jspのアドレスをブラウザのアドレス・バーに入力して、コンソールを開きます。
「Oracle Big Data ApplianceでのImage Server Webのインストール」で作成した資格証明を使用してコンソールにログインします。
「Hadoop Configuration Parameters」セクションの「Configuration」タブから、クラスタ構成に応じてこの3つのプロパティを変更します
イメージの参照を開始する共有フォルダを指定します。このフォルダはクラスタとNFSマウント・ポイント(SHARED_FOLDER)の間で共有する必要があります。
「Start」に完全な書込みアクセス権のあるsaveimagesという子フォルダを作成します。たとえば、「Start=/home」の場合はsaveimages=/home/saveimagesです。
クラスタにSHARED_FOLDERにアクセスするマウント・ポイントが必要な場合は、マウント・ポイントを指定します。たとえば、/net/homeです。そうでない場合は、空白のままにして続行します。
Hadoopネイティブ・ライブラリと追加ライブラリが含まれているフォルダのパスを入力します(HADOOP_LIB_PATH)。
yarn.application.classpath: 必要なjarと依存関係を検索するHadoopのクラスパスを入力します。これは通常、/usr/lib/hadoopにあります。
注意:
構成の他の部分については、デフォルト値のままにします。これらはOracle Big Data Applianceクラスタ環境にあらかじめロードされています。
「Apply Changes」をクリックして、変更を保存します。
ヒント:
不足している構成情報については、コンソールの「Hadoop Loader」タブで確認できます。
Oracle Big Data Spatial Hadoop Vectorコンソールをインストールするには、このトピックの手順を実行します。
次の前提、および前提条件がSpatial Hadoop Vectorコンソールのインストールと構成に適用されます。
ここで説明するAPIおよびジョブを、CDH5.4、Hortonworks 2.2.4.2、または同様のHadoop環境で実行します。
ユーザーの環境に、Java 8以降のバージョンを用意しておきます。
Vector Analysis APIでは、Hadoop環境jarsの他にもここに示すライブラリが必要です。
sdohadoop-vector.jar sdoutil.jar sdoapi.jar ojdbc.jar commons-fileupload-1.3.1.jar commons-io-2.4.jar jackson-annotations-2.1.4.jar jackson-core-2.1.4.jar jackson-core-asl-1.8.1.jar jackson-databind-2.1.4.jar javacsv.jar lucene-analyzers-common-4.6.0.jar lucene-core-4.6.0.jar lucene-queries-4.6.0.jar lucene-queryparser-4.6.0.jar mvsuggest_core.jar sqlite-jdbc-3.7.15-M1.jar
「Oracle Big Data ApplianceでのSpatial Hadoop Vectorコンソールのインストール」で説明した手順を実行します。ただし、ステップ3では、パス/opt/cloudera/parcels/CDH/lib/を実際のライブラリ・パス(デフォルトは/usr/lib/)に置き換えます。
構成ファイル$JETTY_HOME/webapps/spatialviewer/conf/console-conf.xmlを編集し、電子メール送信用、およびその他の構成パラメータ用のデータを指定します。
構成パラメータを使用して、次の手順を実行します
通知URLを編集します。これはコンソール・サーバーが稼働しているURLです。Hadoopクラスタに対しては、ジョブの終了を通知するよう表示される必要があります。設定例は次のとおりです: <baseurl>http:// hadoop.console.url:8080</baseurl>
階層関係の一時データを含むHDFSパスである、一時的な階層索引を使用してディレクトリを編集します。例: <hierarchydataindexpath>hdfs://hadoop.cluster.url:8020/user/myuser/hierarchyIndexPath</hierarchydataindexpath>
MVSuggestで生成済の索引を含むHDFSディレクトリを編集します。例: <mvsuggestindex> hdfs://hadoop.cluster.url:8020/user/myuser /mvSuggestIndex</mvsuggestindex>
必要に応じて、eLocationの背景マップを取得するURLを編集します。例: <elocationmvbaseurl>http://elocation.oracle.com/mapviewer</elocationmvbaseurl>
索引メタデータを含むHDFSディレクトリを編集します。例: <indexmetadatapath>hdfs:// hadoop.cluster.url:8020/user/myuser/indexMetadata</indexmetadatapath>
データ・プロセスの調査に使用する一時データのHDFSディレクトリを編集します。例: <exploretempdatapath>hdfs:// hadoop.cluster.url:8020/user/myuser/exploreTmp<exploretempdatapath>
一般的なHadoopジョブ構成を編集します。このコンソールでは2つのHadoopジョブを使用します。1つ目はHDFSの既存ファイル上に空間索引を作成し、2つ目は索引に基づいて表示される結果を生成します。構成の一部は両方のジョブに共通のものであり、別の一部は各ジョブに固有のものです。共通の構成は、<hadoopjobs><configuration>要素内にあります。構成の例を次に示します。
<hadoopjobs> <configuration> <property> <!--hadoop user. The user is a mandatory property.--> <name>hadoop.job.ugi</name> <value>hdfs</value> </property> <property> <!-- like defined in core-site.xml If in core-site.xml the path fs.defaultFS is define as the nameservice ID (High Availability configuration) then set the full address and IPC port of the currently active name node. The service is define in the file hdfs-site.xml.--> <name>fs.defaultFS</name> <value>hdfs://hadoop.cluster.url:8020</value> </property> <property> <!-- like defined in mapred-site.xml --> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <!-- like defined in yarn-site.xml --> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop.cluster.url:8030</value> </property> <property> <!-- like defined in yarn-site.xml --> <name>yarn.resourcemanager.address</name> <value>hadoop.cluster.url:8032</value> </property> <property> <!-- like defined in yarn-site.xml (full path) --> <name>yarn.application.classpath</name> <value>/etc/hadoop/conf/,/opt/cloudera/parcels/CDH/lib/hadoop/*,/opt/cloudera/parcels/CDH/lib/hadoop/lib/*,/opt/cloudera/parcels/CDH/lib/hadoop-hdfs/*,/opt/cloudera/parcels/CDH/lib/hadoop-hdfs/lib/*,/opt/cloudera/parcels/CDH/lib/hadoop-yarn/*,/opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/*,/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/*,/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/lib/*</value> </property> </configuration> <hadoopjobs>
索引ジョブ固有の構成を作成します。空間索引を作成するジョブには、追加のHadoopパラメータを指定できます。追加の構成は次のとおりです。
<hadoopjobs>
<configuration>
...
</configuration>
<indexjobadditionalconfiguration>
<property>
<!-- Increase the mapred.max.split.size, so that less mappers are allocated in slot and thus reduces the mapper initializing overhead. -->
<name>mapred.max.split.size</name>
<value>1342177280</value>
</property>
</indexjobadditionalconfiguration>
<hadoopjobs>
カテゴリ化の結果を生成するジョブに固有の構成を作成します。プロパティ設定の例を次に示します。
<hadoopjobs>
<configuration>
...
</configuration>
<indexjobadditionalconfiguration>
...
</indexjobadditionalconfiguration>
<hierarchicaljobadditionalconfiguration>
<property>
<!-- Increase the mapred.max.split.size, so that less mappers are allocated in slot and thus reduces the mapper initializing overhead. -->
<name>mapred.max.split.size</name>
<value>1342177280</value>
</property>
</hierarchicaljobadditionalconfiguration>
<hadoopjobs>
通知電子メールを指定します。ジョブ完了ステータスを通知する電子メール通知が送信されます。これは<notificationmails>要素内で定義されます。ユーザー(<user>)、パスワード(<password>)および送信者電子メール(<mailfrom>)の指定は必須です。<configuration>要素では、Javaメールに必要な構成プロパティを設定する必要があります。この例は、SSL接続を使用したSMTPサーバーを介した電子メール送信の標準的な構成です。
<notificationmails>
<!--Authentication parameters. The Authentication parameters are mandatory.-->
<user>user@mymail.com</user>
<password>mypassword</password>
<mailfrom>user@mymail.com</mailfrom>
<!--Parameters that will be set to the system properties. Below the parameters needed to send mails via SMTP server using a SSL connection. -->
<configuration>
<property>
<name>mail.smtp.host</name>
<value>mail.host.com</value>
</property>
<property>
<name>mail.smtp.socketFactory.port</name>
<value>myport</value>
</property>
<property>
<name>mail.smtp.socketFactory.class</name>
<value>javax.net.ssl.SSLSocketFactory</value>
</property>
<property>
<name>mail.smtp.auth</name>
<value>true</value>
</property>
</configuration>
</notificationmails>
「Oracle Big Data ApplianceでのSpatial Hadoop Vectorコンソールの構成」で説明した手順を実行します。ただし、この手順(一般的なHadoopジョブ構成)では、Hadoopプロパティyarn.application.classpathによって/opt/cloudera/parcels/CDH/lib/が実際のライブラリ・パス(デフォルトは/usr/lib/)と置き換えられます。
プロパティ・グラフはOracle Big Data Appliance上、またはコモディティ・ハードウェア上で使用できます。
関連項目:
HBaseでのプロパティ・グラフ・サポートのインストールには、次の前提条件が適用されます。
Linuxオペレーティング・システム
Cloudera's Distribution including Apache Hadoop (CDH)
ソフトウェアのダウンロードについては、次を参照してください: http://www.cloudera.com/content/cloudera/en/products-and-services/cdh.html
Apache HBase
Java Development Kit
これらの製品のサポート・バージョンおよび相互依存性の詳細は、My Oracle Supportノートを参照してください。
Oracle Big Data Spatial and Graphプロパティ・グラフ機能のインストール・ディレクトリの構造は次のとおりです。
$ tree -dFL 2 /opt/oracle/oracle-spatial-graph/property_graph/
/opt/oracle/oracle-spatial-graph/property_graph/
|-- dal
| |-- groovy
| |-- opg-solr-config
| `-- webapp
|-- data
|-- doc
| |-- dal
| `-- pgx
|-- examples
| |-- dal
| |-- pgx
| `-- pyopg
|-- lib
|-- librdf
`-- pgx
|-- bin
|-- conf
|-- groovy
|-- scripts
|-- webapp
`-- yarn
プロパティ・グラフ・サポートがHadoopのないクライアントにインストールされている場合に、Hadoop Distributed File System (HDFS)に格納されているグラフ・データをインメモリー分析に読み込んでその結果をHDFSに書き込み、インメモリー分析の開始、監視および停止にHadoop NextGen MapReduce (YARN)スケジューリングを使用するには、このインストール・タスクを実行します
インメモリー分析およびHDFSを使用してJavaアプリケーションを実行する場合は、$HADOOP_HOME/etc/hadoopがクラスパス上にあり、構成がHadoopクライアント・ライブラリで選択されるようにします。ただし、インメモリー分析シェルを使用する場合は、HADOOP_HOMEが設定されていれば自動的に$HADOOP_HOME/etc/hadoopがクラスパスに追加されるため、これは必要ありません。
その他のCloudera Hadoopライブラリ(JARファイル)をクラスパスに配置する必要はありません。YARNライブラリは、インメモリー分析をYARNサービスとして起動する場合のみ必要です。これは、必要なJARファイルすべてがローカル・インストールからクラスパスに自動的に追加されるyarnコマンドを実行して行います。
これで、HDFSからデータをロードするか、インメモリー分析をYARNサービスとして開始できるようになります。Hadoopに関するその他の情報は、CDH 5.2.xのドキュメントを参照してください。
マルチメディア分析機能を使用するには、ビデオ分析フレームワークをインストールし、構成する必要があります。
Oracle Big Data Spatial and GraphおよびOracle Big Data Applianceのライセンスが供与されている場合は、マルチメディア分析のビデオ分析フレームワークもインストールされ、構成されています。ただし、/opt/oracle/oracle-spatial-graph/multimediaを指し示すように$MMA_HOMEを設定する必要があります。
そうでない場合は、次のようにCloudera CDH 5または同様のHadoop環境でフレームワークをインストールできます。
クラスタの各ノード上で、次のコマンドを使用してフレームワークをインストールします。
rpm2cpio oracle-spatial-graph-<version>.x86_64.rpm | cpio -idmv
/opt/oracle/oracle-spatial-graph/multimediaを指し示すように$MMA_HOMEを設定します。
次のライブラリの場所を特定します。
Hadoop jarファイル($HADOOP_HOME/jarsで使用可能)
ビデオ処理ライブラリ(「トランスコーディング・ソフトウェア(オプション)」を参照)
OpenCVライブラリ(製品で使用可能)
必要であれば、ビデオ・データをトランスコーディングするために必要なビデオ処理ソフトウェアをインストールします(「トランスコーディング・ソフトウェア(オプション)」を参照)。
ビデオ・データのトランスコーディングには、次のオプションを使用できます。
JCodec
FFmpeg
サード・パーティ・トランスコーディング・ソフトウェア
製品に同梱されているJCodecでマルチメディア分析を使用するには、顔認識のHadoopジョブの実行中に、oracle.ord.hadoop.ordframegrabberプロパティをoracle.ord.hadoop.decoder.OrdJCodecFrameGrabberの値に設定します
FFmpegでマルチメディア分析を使用するには:
https://www.ffmpeg.org/からFFmpegをダウンロードします。
Hadoopクラスタ上でFFmpegをインストールします
oracle.ord.hadoop.ordframegrabberプロパティをoracle.ord.hadoop.decoder.OrdFFMPEGFrameGrabberの値に設定します
カスタム・ビデオ・デコーディング・ソフトウェアでマルチメディア分析を使用するには、抽象クラスoracle.ord.hadoop.decoder.OrdFrameGrabberを実装します。詳細は、Javadocを参照してください
