プライマリ・コンテンツに移動
Oracle® Big Data Spatial and Graphユーザーズ・ガイドおよびリファレンス
リリース2.3
E70114-05
次
目次
図一覧
表一覧
タイトルおよび著作権情報
はじめに
対象読者
ドキュメントのアクセシビリティについて
関連ドキュメント
表記規則
Oracle Big Data Spatial and Graphユーザーズ・ガイドおよびリファレンスのこのリリースの変更点
インメモリー・アナリスト(PGX)の拡張点
Scala用のSpark Vector Analysis APIのサポート
分散空間索引を使用した最近傍
空間評価の実行の制御
頂点およびエッジ・レコードを書き込むための新規ユーティリティ・メソッド
1
Big Data Spatial and Graphの概要
1.1
Big Data Spatial and Graphについて
1.2
空間機能
1.3
プロパティ・グラフ機能
1.3.1
プロパティ・グラフのサイズ変更の推奨事項
1.4
マルチメディア分析機能
1.5
Oracle Big Data Appliance上でのOracle Big Data Spatial and Graphのインストール
1.6
Big Data Spatial Image Processing Frameworkのインストールおよび構成
1.6.1
Cartographic Projections Libraryの取得およびコンパイル
1.6.2
Oracle Big Data ApplianceディストリビューションのImage Processing Frameworkのインストール
1.6.3
その他のディストリビューション(Oracle Big Data Appliance以外)のImage Processing Frameworkのインストール
1.6.3.1
その他のディストリビューションのImage Processing Frameworkをインストールするための前提条件
1.6.3.2
その他のディストリビューションのImage Processing Frameworkのインストール
1.6.4
Image Processing Frameworkのインストール後の検証
1.6.4.1
イメージ・ロードのテスト・スクリプト
1.6.4.2
Image Processorテスト・スクリプト(モザイク化)
1.6.4.3
単一Image Processorテスト・スクリプト
1.6.4.4
Image Processor DEMテスト・スクリプト
1.6.4.5
複数のラスター操作テスト・スクリプト
1.7
Big Data Spatial Image Serverのインストールおよび構成
1.7.1
Oracle Big Data ApplianceのImage Serverのインストールおよび構成
1.7.1.1
手動インストールを実行するための前提条件
1.7.1.2
Oracle Big Data ApplianceでのImage Server Webの依存関係のインストール
1.7.1.3
Big Data Applianceの環境の構成
1.7.2
その他システム(Big Data Appliance以外)のImage Server Webのインストールおよび構成
1.7.2.1
その他システムでImage Serverをインストールするための前提条件
1.7.2.2
その他システムでのImage Server Webのインストール
1.7.2.3
その他システムの環境の構成
1.7.3
Image Serverコンソールのインストール後の検証の例
1.7.3.1
ローカル・サーバーからHDFS Hadoopクラスタへのイメージのロード
1.7.3.2
モザイク・イメージとカタログの作成
1.7.3.3
地球からのモザイクの直接作成
1.7.3.4
地球からの傾斜イメージの直接作成
1.7.3.5
複数のラスター代数演算の作成
1.7.3.6
同一ラスターの削除
1.7.4
用意されているImage Server Webサービスの使用
1.8
Oracle Big Data SpatialViewer Webアプリケーションのインストール
1.8.1
SpatialViewerの前提および前提条件ライブラリ
1.8.1.1
SpatialViewerの前提
1.8.1.2
SpatialViewerの前提条件ライブラリ
1.8.2
Oracle Big Data ApplianceでのSpatialViewerのインストール
1.8.3
その他システム(Big Data Appliance以外)のSpatialViewerのインストール
1.8.4
Oracle Big Data ApplianceでのSpatialViewerの構成
1.8.5
その他システム(Big Data Appliance以外)のSpatialViewerの構成
1.9
CDHクラスタまたはその他ハードウェアでのプロパティ・グラフ・サポートのインストール
1.9.1
Apache HBaseの前提条件
1.9.2
プロパティ・グラフのインストール手順
1.9.3
プロパティ・グラフのインストール・ディレクトリについて
1.9.4
インメモリー・アナリスト使用のオプションのインストール・タスク
1.9.4.1
Hadoopのインストールと構成
1.9.4.2
Hadoopでのインメモリー・アナリストの実行
1.10
マルチメディア分析サポートのインストールおよび構成
1.10.1
マルチメディア分析の前提およびライブラリ
1.10.2
トランスコーディング・ソフトウェア(オプション)
2
Big Data Spatial and Graphおよび空間データの使用
2.1
空間データに対するBig Data Spatial and Graphのサポートについて
2.1.1
Big Data Spatial and Graph on Apache Hadoopとは
2.1.2
Oracle Big Data Spatial and Graphの利点
2.1.3
Oracle Big Data Spatialの機能
2.1.4
Oracle Big Data Spatialのファイル、形式、およびソフトウェア要件
2.2
Oracle Big Dataベクトル・データおよびラスター・データの処理
2.2.1
Oracle Big Data Spatialラスター・データの処理
2.2.2
Oracle Big Data Spatialベクトル・データの処理
2.3
ラスター・データ処理のためのOracle Big Data Spatial Hadoop Image Processing Framework
2.3.1
Image Loader
2.3.2
Image Processor
2.3.3
Image Server
2.4
Image Loaderを使用したHadoopへのイメージのロード
2.4.1
イメージ・ロード・ジョブ
2.4.2
入力パラメータ
2.4.3
出力パラメータ
2.5
Oracle Spatial Hadoop Image Processorを使用したイメージの処理
2.5.1
イメージ処理ジョブ
2.5.1.1
デフォルトのイメージ処理ジョブ・フロー
2.5.1.2
複数のラスター・イメージ処理ジョブ・フロー
2.5.2
入力パラメータ
2.5.2.1
カタログXML構造
2.5.2.2
モザイク定義XML構造
2.5.3
ジョブ実行
2.5.4
処理クラスおよびImageBandWritable
2.5.4.1
クラスおよびJarファイルの位置
2.5.5
地図代数演算
2.5.6
複数のラスター代数演算
2.5.6.1
基本的な複数のラスター代数演算
2.5.6.2
複雑な複数のラスター代数演算
2.5.7
出力
2.6
Oracle Spatial Hadoop Raster Processing APIを使用したイメージのロードおよび処理
2.7
Oracle Spatial Hadoop Raster Simulator Frameworkを使用したラスター処理のテスト
2.8
Oracle Big Data Spatial Raster Processing for Spark
2.8.1
Sparkラスター・ローダー
2.8.1.1
Sparkラスター・ローダーへの入力パラメータ
2.8.1.2
Sparkラスター・ローダーの予想出力
2.8.2
Spark SQLラスター・プロセッサ
2.8.2.1
Spark SQLラスター・プロセッサへの入力パラメータ
2.8.2.2
Spark SQLラスター・プロセッサの予想出力
2.8.3
Sparkラスター処理APIの使用
2.8.3.1
Sparkラスター・ローダーAPIの使用
2.8.3.2
Spark SQLプロセッサAPIを使用するための構成
2.8.3.3
DataFrameの作成
2.8.3.4
ラスター代数演算用のSpark SQLの使用
2.9
Oracle Big Data Spatial Vector Analysis
2.9.1
複数のHadoop APIのサポート
2.9.2
空間の索引付け
2.9.2.1
空間の索引付けクラスの構造
2.9.2.2
空間索引を作成する構成
2.9.2.3
空間索引メタデータ
2.9.2.4
空間索引の入力形式
2.9.2.5
GeoJSONおよびShapefile形式のサポート
2.9.2.6
空間索引の削除
2.9.3
MVSuggestの使用
2.9.4
空間のフィルタ処理
2.9.4.1
レコードのフィルタ処理
2.9.4.2
入力形式の使用のフィルタ処理
2.9.5
データの階層分類
2.9.5.1
階層レベル範囲の変更
2.9.5.2
検索階層の制御
2.9.5.3
データを分類するためのMVSuggestの使用
2.9.6
バッファの生成
2.9.7
空間のビニング
2.9.8
空間のクラスタ化
2.9.9
空間の結合
2.9.10
空間のパーティション化
2.9.11
RecordInfoProvider
2.9.11.1
サンプルRecordInfoProvider実装
2.9.11.2
LocalizableRecordInfoProvider
2.9.12
HierarchyInfo
2.9.12.1
サンプルHierarchyInfo実装
2.9.13
MapReduceジョブでのJGeometryの使用
2.9.14
異なるデータ・ソースのサポート
2.9.15
ジョブ・レジストリ
2.9.16
Vector Analysis APIを使用したジョブ実行時間のパフォーマンス・データのチューニング
2.10
Oracle Big Data Spatial Vector Analysis for Spark
2.10.1
空間RDD (Resilient Distributed Dataset)
2.10.2
空間の変換
2.10.2.1
フィルタ変換
2.10.2.2
FlatMap変換
2.10.2.3
結合変換
2.10.2.4
空間評価の制御
2.10.2.5
空間的に有効な変換
2.10.3
空間アクション(MBRおよびNearestNeighbors)
2.10.4
空間RDDの空間索引付け
2.10.4.1
空間RDDの空間のパーティション化
2.10.4.2
空間RDDのローカル空間索引付け
2.10.5
入力形式のサポート
2.10.6
空間Spark SQL API
2.10.7
空間RDDのJDBCデータ・ソース
2.11
Oracle Big Data Spatial Vector Hive Analysis
2.11.1
HiveRecordInfoProvider
2.11.2
Hive Spatial APIの使用
2.11.3
Hive内の空間索引の使用
2.12
Oracle Big Data SpatialViewer Webアプリケーションの使用
2.12.1
SpatialViewerを使用したHadoop空間索引の作成
2.12.2
Hadoop索引付き空間データの検索
2.12.3
SpatialViewerを使用したSpark空間索引の作成
2.12.4
Spark索引付き空間データの検索
2.12.5
SpatialViewerを使用したカテゴリ化ジョブの実行
2.12.6
カテゴリ化結果の表示
2.12.7
ファイルへのカテゴリ化結果の保存
2.12.8
テンプレートの作成および削除
2.12.9
テンプレートの構成
2.12.10
SpatialViewerを使用したクラスタ化ジョブの実行
2.12.11
クラスタ化結果の表示
2.12.12
ファイルへのクラスタ化結果の保存
2.12.13
SpatialViewerを使用したビニング・ジョブの実行
2.12.14
ビニング結果の表示
2.12.15
ファイルへのビニング結果の保存
2.12.16
コマンドラインを使用した索引作成ジョブの実行
2.12.17
カテゴリ化結果を作成するジョブの実行
2.12.18
クラスタ化結果を作成するジョブの実行
2.12.19
ビニング結果を作成するジョブの実行
2.12.20
空間をフィルタ処理するジョブの実行
2.12.21
場所の提案を取得するジョブの実行
2.12.22
空間結合を実行するジョブの実行
2.12.23
パーティション化を実行するジョブの実行
2.12.24
複数の入力の使用
2.13
Oracle Big Data Spatial and Graph Image Serverコンソールの使用
2.13.1
モザイクを作成するためのHDFS Hadoopクラスタへのイメージのロード
3
Big Data Spatial and GraphとOracle Databaseとの統合
3.1
区切りテキスト・ファイルを使用したOracle SQL Connector for HDFSの使用
3.2
Hive表を使用したOracle SQL Connector for HDFSの使用
3.3
Oracle Loader for Hadoopによって生成されたファイルを使用したOracle SQL Connector for HDFSの使用
3.3.1
HDFSデータ・ポンプ・ファイルまたは区切りテキスト・ファイルの作成
3.3.2
SQL Connector for HDFSの作成
3.4
Oracle Big Data SQLを使用したOracle DatabaseとのHDFS空間データの統合
3.4.1
Big Data SQLを使用したHDFSファイル用のOracle外部表の作成
3.4.2
Big Data SQLを使用したHive表の使用によるOracle外部表の作成
4
プロパティ・グラフ・サポートの構成
4.1
プロパティ・グラフと併用するためのApache HBaseのチューニング
4.1.1
Apache HBase構成の変更
4.1.2
Javaメモリー設定の変更
4.2
プロパティ・グラフと併用するためのOracle NoSQL Databaseのチューニング
5
ビッグ・データ環境でのプロパティ・グラフの使用
5.1
プロパティ・グラフについて
5.1.1
プロパティ・グラフとは
5.1.2
プロパティ・グラフのビッグ・データ・サポートとは
5.1.2.1
インメモリー・アナリスト
5.1.2.2
データ・アクセス・レイヤー
5.1.2.3
ストレージ管理
5.1.2.4
RESTful Webサービス
5.2
プロパティ・グラフのデータ形式について
5.2.1
GraphMLデータ形式
5.2.2
GraphSONデータ形式
5.2.3
GMLデータ形式
5.2.4
Oracleフラット・ファイル形式
5.3
プロパティ・グラフの開始
5.4
プロパティ・グラフ・データ用のJava APIの使用
5.4.1
Java APIの概要
5.4.1.1
Oracle Big Data Spatial and Graph Java API
5.4.1.2
TinkerPop Blueprints Java API
5.4.1.3
Apache Hadoop Java API
5.4.1.4
Oracle NoSQL Database Java API
5.4.1.5
Apache HBase Java API
5.4.2
グラフ・データのパラレル・ロード
5.4.2.1
パーティションを使用したパラレル・データ・ロード
5.4.2.2
ファインチューニングを使用したパラレル・データ・ロード
5.4.2.3
複数のファイルを使用したパラレル・データ・ロード
5.4.2.4
グラフ・データのパラレル取得
5.4.2.5
サブグラフ抽出のための要素フィルタ・コールバックの使用
5.4.2.6
プロパティ・グラフ・データの読取りでの最適化フラグの使用
5.4.2.7
プロパティ・グラフのサブグラフの属性の追加および削除
5.4.2.8
プロパティ・グラフ・メタデータの取得
5.4.3
プロパティ・グラフ・インスタンスのオープンおよびクローズ
5.4.3.1
Oracle NoSQL Databaseの使用
5.4.3.2
Apache HBaseの使用
5.4.4
頂点の作成
5.4.5
エッジの作成
5.4.6
頂点およびエッジの削除
5.4.7
データベースから埋込みインメモリー・アナリストへのグラフの読込み
5.4.8
頂点のラベルの指定
5.4.9
インメモリー・グラフの構築
5.4.10
プロパティ・グラフの削除
5.4.10.1
Oracle NoSQL Databaseの使用
5.4.10.2
Apache HBaseの使用
5.5
プロパティ・グラフ・データのテキスト索引付けの管理
5.5.1
プロパティ・グラフ・データのテキスト索引の構成
5.5.2
プロパティ・グラフ・データの自動索引の使用
5.5.3
プロパティ・グラフ・データの手動索引の使用
5.5.4
プロパティ・グラフ・テキスト索引に対する検索問合せの実行
5.5.5
データ型の処理
5.5.5.1
Apache Luceneでのデータ型識別子の追加
5.5.5.2
SolrCloudでのデータ型識別子の追加
5.5.6
ZookeeperへのコレクションのSolrCloud構成のアップロード
5.5.7
プロパティ・グラフ・データのテキスト索引の構成設定の更新
5.5.8
プロパティ・グラフ・データのテキスト索引でのパラレル問合せの使用
5.5.9
プロパティ・グラフ・データのテキスト索引に対するネイティブ問合せオブジェクトの使用
5.5.10
プロパティ・グラフ・データのテキスト索引に対するネイティブ問合せ結果の使用
5.6
PGQLを使用したプロパティ・グラフ・データに対する問合せ
5.7
プロパティ・グラフ・データを使用したApache Sparkの使用
5.7.1
Apache HBase内のプロパティ・グラフ・データを使用したApache Sparkの使用
5.7.2
Oracle NoSQL Databaseに格納されているプロパティ・グラフ・データとApache Sparkとの統合
5.8
セキュアなOracle NoSQL Databaseのサポート
5.9
Apache HBaseに格納されているグラフでのセキュリティの実装
5.10
プロパティ・グラフ・データでのGroovyシェルの使用
5.11
サンプル・プログラムの探索
5.11.1
サンプル・プログラムについて
5.11.2
サンプル・プログラムのコンパイルおよび実行
5.11.3
出力の例について
5.11.4
例: プロパティ・グラフの作成
5.11.5
例: プロパティ・グラフの削除
5.11.6
例: 頂点およびエッジの追加と削除
5.12
Oracleフラット・ファイル形式の定義
5.12.1
プロパティ・グラフ記述ファイルについて
5.12.2
頂点ファイル
5.12.3
エッジ・ファイル
5.12.4
特殊文字のエンコーディング
5.12.5
Oracleフラット・ファイル形式でのプロパティ・グラフの例
5.12.6
Oracle Database表のOracle定義のプロパティ・グラフ・フラット・ファイルへの変換
5.12.7
頂点およびエッジのCSVファイルのOracle定義のプロパティ・グラフ・フラット・ファイルへの変換
5.12.7.1
頂点: CSVファイルのOracle定義のフラット・ファイル形式(.opv)への変換
5.12.7.2
エッジ: CSVファイルのOracle定義のフラット・ファイル形式(.ope)への変換
5.12.7.3
頂点およびエッジ: 頂点とエッジの両方のデータが含まれる単一のCSVファイルのグラフ・フラット・ファイルのペアへの変換
5.13
Pythonユーザー・インタフェースの例
6
インメモリー・アナリスト(PGX)の使用
6.1
グラフのメモリーへの読込み
6.1.1
インメモリー・アナリスト・サーバー・インスタンスへの接続
6.1.2
シェル・ヘルプの使用
6.1.3
構成ファイルでのグラフ・メタデータの指定
6.1.4
グラフ・データのメモリーへの読込み
6.1.4.1
Apache HBaseに格納されているグラフのメモリーへの読込み
6.1.4.2
Oracle NoSQL Databaseに格納されているグラフのメモリーへの読込み
6.1.4.3
ローカル・ファイル・システムに格納されているグラフのメモリーへの読込み
6.2
インメモリー・アナリストの構成
6.2.1
インメモリー・アナリストの構成ファイルの指定
6.3
カスタム・グラフ・データの読取り
6.3.1
単純なグラフ・ファイルの作成
6.3.2
頂点プロパティの追加
6.3.3
頂点識別子としての文字列の使用
6.3.4
エッジ・プロパティの追加
6.4
グラフ・データのディスクへの格納
6.4.1
頂点プロパティへの分析結果の格納
6.4.2
エッジリスト形式でのグラフのディスクへの格納
6.5
組込みアルゴリズムの実行
6.5.1
インメモリー・アナリストについて
6.5.2
Triangle Countingアルゴリズムの実行
6.5.3
Pagerankアルゴリズムの実行
6.6
サブグラフの作成
6.6.1
フィルタ式について
6.6.2
簡易エッジ・フィルタを使用したサブグラフの作成
6.6.3
簡易頂点フィルタを使用したサブグラフの作成
6.6.4
複合フィルタを使用したサブグラフの作成
6.6.5
式フィルタの結合
6.6.6
式フィルタを使用した一連の頂点またはエッジの作成
6.6.7
頂点集合を使用した2部サブグラフの作成
6.7
グラフを使用したパターンマッチング問合せの使用
6.7.1
例: 敵の敵は味方である
6.7.2
例: 協力者の最も多い上位10人
6.7.3
例: 電気装置間の推移的な接続性
6.8
インメモリー・アナリスト・サーバーの起動
6.8.1
インメモリー・アナリスト・サーバーの構成
6.9
Jettyへのデプロイ
6.10
Apache Tomcatへのデプロイ
6.11
Oracle WebLogic Serverへのデプロイ
6.11.1
Oracle WebLogic Serverのデプロイ
6.11.2
インメモリー・アナリストのデプロイ
6.11.3
サーバーが動作していることの確認
6.12
インメモリー・アナリスト・サーバーへの接続
6.12.1
インメモリー・アナリスト・シェルによる接続
6.12.1.1
HTTPリクエストのロギングについて
6.12.2
Javaによる接続
6.12.3
JavaScriptによる接続
6.13
分散モードのインメモリー・アナリストの使用
6.14
HDFSでのデータの読取りおよび格納
6.14.1
HDFSからのデータの読込み
6.14.2
グラフ・スナップショットのHDFSへの格納
6.14.3
HadoopでのJavaアプリケーションのコンパイルおよび実行
6.15
YARNアプリケーションとしてのインメモリー・アナリストの実行
6.15.1
インメモリー・アナリスト・サービスの開始および停止
6.15.1.1
インメモリー・アナリストYARNクライアントの構成
6.15.1.2
新規インメモリー・アナリスト・サービスの開始
6.15.1.3
長期実行インメモリー・アナリスト・サービスについて
6.15.1.4
インメモリー・アナリスト・サービスの停止
6.15.2
インメモリー・アナリスト・サービスへの接続
6.15.3
インメモリー・アナリスト・サービスの監視
6.16
Oracleの2つの表リレーショナル形式の使用
6.17
インメモリー・アナリストを使用したApache Spark内のグラフ・データの分析
6.17.1
Apache Spark内の並列度の制御
6.18
インメモリー・アナリストZeppelinインタプリタの使用
6.19
インメモリー・アナリスト・エンタープライズ・スケジューラの使用
6.19.1
実行環境でのラムダ構文の使用
7
マルチメディア分析の使用
7.1
マルチメディア分析について
7.2
マルチメディア分析フレームワークを使用したHDFSに格納されたビデオおよびイメージの処理
7.3
マルチメディア分析フレームワークを使用したストリーミング・ビデオの処理
7.4
マルチメディア分析フレームワークを使用した顔認識
7.4.1
顔を検出するためのトレーニング
7.4.2
トレーニングに使用する顔の選択
7.4.3
ビデオでの顔の検出
7.4.4
イメージでの顔の検出
7.4.5
Oracle NoSQL Databaseの操作
7.4.6
Apache HBaseの操作
7.4.7
顔検出の例およびトレーニング資料
7.5
マルチメディア分析の構成プロパティ
7.5.1
格納されたビデオおよびイメージの処理用のプロパティの構成
7.5.2
ストリーミング・ビデオの処理用のプロパティの構成
7.5.3
トレーニング・イメージおよび顔認識用のプロパティの構成
7.6
サードパーティ・ソフトウェアとマルチメディア分析フレームワークの併用
7.7
出力のイメージの表示
A
同梱されているソフトウェアのサード・パーティ・ライセンス
A.1
Apache Licensed Code
A.2
ANTLR 3
A.3
AOP Alliance
A.4
Apache Commons CLI
A.5
Apache Commons Codec
A.6
Apache Commons Collections
A.7
Apache Commons Configuration
A.8
Apache Commons IO
A.9
Apache Commons Lang
A.10
Apache Commons Logging
A.11
Apache Commons VFS
A.12
Apache fluent
A.13
Apache Groovy
A.14
Apache htrace
A.15
Apache HTTP Client
A.16
Apache HTTPComponents Core
A.17
Apache Jena
A.18
Apache Log4j
A.19
Apache Lucene
A.20
Apache Tomcat
A.21
Apache Xerces2
A.22
Apache xml-commons
A.23
Argparse4j
A.24
check-types
A.25
Cloudera CDH
A.26
cookie
A.27
Fastutil
A.28
functionaljava
A.29
GeoNames Data
A.30
Geospatial Data Abstraction Library (GDAL)
A.31
Google Guava
A.32
Google Guice
A.33
Google protobuf
A.34
int64-native
A.35
Jackson
A.36
Jansi
A.37
JCodec
A.38
Jettison
A.39
JLine
A.40
Javassist
A.41
json-bignum
A.42
Jung
A.43
Log4js
A.44
MessagePack
A.45
Netty
A.46
Node.js
A.47
node-zookeeper-client
A.48
OpenCV
A.49
rxjava-core
A.50
Slf4j
A.51
Spoofax
A.52
Tinkerpop Blueprints
A.53
Tinkerpop Gremlin
A.54
Tinkerpop Pipes
B
Hive空間関数
B.1
ST_AnyInteract
B.2
ST_Area
B.3
ST_AsWKB
B.4
ST_AsWKT
B.5
ST_Buffer
B.6
ST_Contains
B.7
ST_ConvexHull
B.8
ST_Distance
B.9
ST_Envelope
B.10
ST_Geometry
B.11
ST_Inside
B.12
ST_Length
B.13
ST_LineString
B.14
ST_MultiLineString
B.15
ST_MultiPoint
B.16
ST_MultiPolygon
B.17
ST_Point
B.18
ST_Polygon
B.19
ST_Simplify
B.20
ST_SimplifyVW
B.21
ST_Volume