目次

図一覧

表一覧

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• 表記規則

1 Big Data Spatial and Graphの概要

• 1.1 Big Data Spatial and Graphについて
• 1.2 空間機能
• 1.3 プロパティ・グラフ機能
  • 1.3.1 プロパティ・グラフのサイズ変更の推奨事項
• 1.4 マルチメディア分析機能
• 1.5 Oracle Big Data Appliance上でのOracle Big Data Spatial and Graphのインストール
• 1.6 Big Data Spatial Image Processing Frameworkのインストールおよび構成
  • 1.6.1 Oracle Big Data ApplianceディストリビューションのためのImage Processing Frameworkのインストール
  • 1.6.2 その他のディストリビューション(Oracle Big Data Appliance以外)のImage Processing Frameworkのインストール
    • 1.6.2.1 その他のディストリビューションのImage Processing Frameworkをインストールするための前提条件
    • 1.6.2.2 その他のディストリビューションのImage Processing Frameworkのインストール
  • 1.6.3 Image Processing Frameworkのインストール後の検証
    • 1.6.3.1 イメージ・ロードのテスト・スクリプト
    • 1.6.3.2 Image Processorテスト・スクリプト
    • 1.6.3.3 Image Processor DEMテスト・スクリプト
• 1.7 Big Data Spatial Image Serverのインストールおよび構成
  • 1.7.1 Oracle Big Data ApplianceのImage Serverのインストールおよび構成
    • 1.7.1.1 Oracle Big Data ApplianceでImage Serverをインストールするための前提条件
    • 1.7.1.2 Oracle Big Data ApplianceでのImage Server Webのインストール
    • 1.7.1.3 環境の構成
  • 1.7.2 その他システム(Big Data Appliance以外)のImage Server Webのインストールおよび構成
    • 1.7.2.1 その他システムでImage Serverをインストールするための前提条件
    • 1.7.2.2 その他システムでのImage Server Webのインストール
    • 1.7.2.3 環境の構成
  • 1.7.3 Image Serverコンソールのインストール後の検証の例
    • 1.7.3.1 ローカル・サーバーからHDFS Hadoopクラスタへのイメージのロード
    • 1.7.3.2 モザイク・イメージとカタログの作成
• 1.8 Oracle Big Data Spatial Hadoop Vectorコンソールのインストール
  • 1.8.1 前提および前提条件ライブラリ
    • 1.8.1.1 前提
    • 1.8.1.2 前提条件ライブラリ
  • 1.8.2 Oracle Big Data ApplianceでのSpatial Hadoop Vectorコンソールのインストール
  • 1.8.3 その他システム(Big Data Appliance以外)のSpatial Hadoop Vectorコンソールのインストール
  • 1.8.4 Oracle Big Data ApplianceでのSpatial Hadoop Vectorコンソールの構成
  • 1.8.5 その他システム(Big Data Appliance以外)のSpatial Hadoop Vectorコンソールの構成
• 1.9 CDHクラスタまたはその他ハードウェアでのプロパティ・グラフ・サポートのインストール
  • 1.9.1 Apache HBaseの前提条件
  • 1.9.2 プロパティ・グラフのインストール手順
  • 1.9.3 プロパティ・グラフのインストール・ディレクトリについて
  • 1.9.4 インメモリー分析のオプションのインストール・タスク
    • 1.9.4.1 Hadoopのインストールと構成
    • 1.9.4.2 Hadoopでのインメモリー分析の実行
• 1.10 マルチメディア分析サポートのインストールおよび構成
  • 1.10.1 マルチメディア分析の前提およびライブラリ
  • 1.10.2 トランスコーディング・ソフトウェア(オプション)

2 Big Data Spatial and Graphおよび空間データの使用

• 2.1 空間データに対するBig Data Spatial and Graphのサポートについて
  • 2.1.1 Big Data Spatial and Graph on Apache Hadoopとは
  • 2.1.2 Oracle Big Data Spatial and Graphの利点
  • 2.1.3 Oracle Big Data Spatialの機能
  • 2.1.4 Oracle Big Data Spatialのファイル、形式、およびソフトウェア要件
• 2.2 Oracle Big Dataベクトル・データおよびラスター・データの処理
  • 2.2.1 Oracle Big Data Spatialラスター・データの処理
  • 2.2.2 Oracle Big Data Spatialベクトル・データの処理
• 2.3 ラスター・データ処理のためのOracle Big Data Spatial Hadoop Image Processing Framework
  • 2.3.1 Image Loader
  • 2.3.2 Image Processor
  • 2.3.3 Image Server
• 2.4 Image Loaderを使用したHadoopへのイメージのロード
  • 2.4.1 イメージ・ロード・ジョブ
  • 2.4.2 入力パラメータ
  • 2.4.3 出力パラメータ
• 2.5 Oracle Spatial Hadoop Image Processorを使用したイメージの処理
  • 2.5.1 イメージ処理ジョブ
  • 2.5.2 入力パラメータ
    • 2.5.2.1 カタログXML構造
    • 2.5.2.2 モザイク定義XML構造
  • 2.5.3 ジョブ実行
  • 2.5.4 処理クラスおよびImageBandWritable
    • 2.5.4.1 クラスおよびJarファイルの位置
  • 2.5.5 地図代数演算
  • 2.5.6 出力
• 2.6 Oracle Spatial Hadoop Raster Processing APIを使用したイメージのロードおよび処理
• 2.7 Oracle Big Data Spatial Vector Analysis
  • 2.7.1 空間の索引付け
    • 2.7.1.1 空間の索引付けクラスの構造
    • 2.7.1.2 空間索引を作成する構成
    • 2.7.1.3 空間索引の入力形式
    • 2.7.1.4 GeoJSONおよびShapefile形式のサポート
  • 2.7.2 MVSuggestの使用
  • 2.7.3 空間のフィルタ処理
    • 2.7.3.1 レコードのフィルタ処理
  • 2.7.4 データの階層分類
    • 2.7.4.1 階層レベル範囲の変更
    • 2.7.4.2 検索階層の制御
    • 2.7.4.3 データを分類するためのMVSuggestの使用
  • 2.7.5 バッファの生成
  • 2.7.6 空間のビニング
  • 2.7.7 空間のクラスタ化
  • 2.7.8 RecordInfoProvider
    • 2.7.8.1 サンプルRecordInfoProvider実装
    • 2.7.8.2 LocalizableRecordInfoProvider
  • 2.7.9 HierarchyInfo
    • 2.7.9.1 サンプルHierarchyInfo実装
  • 2.7.10 MapReduceジョブでのJGeometryの使用
  • 2.7.11 Vector Analysis APIを使用したジョブ実行時間のパフォーマンス・データのチューニング
• 2.8 Oracle Big Data Spatial and Graph Vectorコンソールの使用
  • 2.8.1 コンソールを使用した空間索引の作成
  • 2.8.2 索引付き空間データの検索
  • 2.8.3 コンソールを使用したカテゴリ化ジョブの実行
  • 2.8.4 カテゴリ化結果の表示
  • 2.8.5 手動でのカテゴリ化結果の作成
  • 2.8.6 テンプレートの作成および削除
  • 2.8.7 テンプレートの構成
  • 2.8.8 コマンドラインを使用した索引作成ジョブの実行
  • 2.8.9 空間をフィルタ処理するジョブの実行
  • 2.8.10 階層結果を作成するジョブの実行
  • 2.8.11 バッファを生成するジョブの実行
• 2.9 Oracle Big Data Spatial and Graph Image Serverコンソールの使用
  • 2.9.1 モザイクを作成するためのHDFS Hadoopクラスタへのイメージのロード

3 プロパティ・グラフ・サポートの構成

• 3.1 ソフトウェア構成のチューニング
  • 3.1.1 プロパティ・グラフと併用するためのApache HBaseのチューニング
    • 3.1.1.1 Apache HBase構成の変更
    • 3.1.1.2 Javaメモリー設定の変更
  • 3.1.2 プロパティ・グラフと併用するためのOracle NoSQL Databaseのチューニング

4 ビッグ・データ環境でのプロパティ・グラフの使用

• 4.1 プロパティ・グラフについて
  • 4.1.1 プロパティ・グラフとは
  • 4.1.2 プロパティ・グラフのビッグ・データ・サポートとは
    • 4.1.2.1 分析レイヤー
    • 4.1.2.2 データ・アクセス・レイヤー
    • 4.1.2.3 ストレージ管理
    • 4.1.2.4 RESTful Webサービス
• 4.2 プロパティ・グラフのデータ形式について
  • 4.2.1 GraphMLデータ形式
  • 4.2.2 GraphSONデータ形式
  • 4.2.3 GMLデータ形式
  • 4.2.4 Oracleフラット・ファイル形式
• 4.3 プロパティ・グラフの開始
• 4.4 プロパティ・グラフ・データ用のJava APIの使用
  • 4.4.1 Java APIの概要
    • 4.4.1.1 Oracle Big Data Spatial and Graph Java API
    • 4.4.1.2 TinkerPop Blueprints Java API
    • 4.4.1.3 Apache Hadoop Java API
    • 4.4.1.4 Oracle NoSQL Database Java API
    • 4.4.1.5 Apache HBase Java API
  • 4.4.2 グラフ・データのパラレル・ロード
    • 4.4.2.1 パーティションを使用したパラレル・データ・ロード
    • 4.4.2.2 ファインチューニングを使用したパラレル・データ・ロード
    • 4.4.2.3 複数のファイルを使用したパラレル・データ・ロード
    • 4.4.2.4 グラフ・データのパラレル取得
    • 4.4.2.5 サブグラフ抽出のための要素フィルタ・コールバックの使用
    • 4.4.2.6 プロパティ・グラフ・データの読取りでの最適化フラグの使用
    • 4.4.2.7 プロパティ・グラフのサブグラフの属性の追加および削除
    • 4.4.2.8 プロパティ・グラフ・メタデータの取得
  • 4.4.3 プロパティ・グラフ・インスタンスのオープンおよびクローズ
    • 4.4.3.1 Oracle NoSQL Databaseの使用
    • 4.4.3.2 Apache HBaseの使用
  • 4.4.4 頂点の作成
  • 4.4.5 エッジの作成
  • 4.4.6 頂点およびエッジの削除
  • 4.4.7 データベースから埋込みインメモリー・アナリストへのグラフの読込み
  • 4.4.8 プロパティ・グラフの削除
    • 4.4.8.1 Oracle NoSQL Databaseの使用
    • 4.4.8.2 Apache HBaseの使用
• 4.5 プロパティ・グラフ・データのテキスト索引付けの管理
  • 4.5.1 Apache Lucene検索エンジンによる自動索引の使用
  • 4.5.2 SolrCloud検索エンジンによる手動索引の使用
  • 4.5.3 データ型の処理
    • 4.5.3.1 Apache Luceneでのデータ型識別子の追加
    • 4.5.3.2 SolrCloudでのデータ型識別子の追加
  • 4.5.4 ZookeeperへのコレクションのSolrCloud構成のアップロード
  • 4.5.5 プロパティ・グラフ・データのテキスト索引の構成設定の更新
  • 4.5.6 プロパティ・グラフ・データのテキスト索引でのパラレル問合せの使用
• 4.6 セキュアなOracle NoSQL Databaseのサポート
• 4.7 セキュアなApache HBase/Hadoopのサポート
• 4.8 プロパティ・グラフ・データでのGroovyシェルの使用
• 4.9 サンプル・プログラムの探索
  • 4.9.1 サンプル・プログラムについて
  • 4.9.2 サンプル・プログラムのコンパイルおよび実行
  • 4.9.3 出力の例について
  • 4.9.4 例: プロパティ・グラフの作成
  • 4.9.5 例: プロパティ・グラフの削除
  • 4.9.6 例: 頂点およびエッジの追加と削除
• 4.10 Oracleフラット・ファイル形式の定義
  • 4.10.1 プロパティ・グラフ記述ファイルについて
  • 4.10.2 頂点ファイル
  • 4.10.3 エッジ・ファイル
  • 4.10.4 特殊文字のエンコーディング
  • 4.10.5 Oracleフラット・ファイル形式でのプロパティ・グラフの例
• 4.11 Pythonユーザー・インタフェースの例

5 インメモリー分析の使用

• 5.1 グラフのメモリーへの読込み
  • 5.1.1 インメモリー分析サーバー・インスタンスへの接続
  • 5.1.2 シェル・ヘルプの使用
  • 5.1.3 構成ファイルでのグラフ・メタデータの指定
  • 5.1.4 グラフ・データのメモリーへの読込み
    • 5.1.4.1 Apache HBaseに格納されているグラフのメモリーへの読込み
    • 5.1.4.2 Oracle NoSQL Databaseに格納されているグラフのメモリーへの読込み
    • 5.1.4.3 ローカル・ファイル・システムに格納されているグラフのメモリーへの読込み
• 5.2 カスタム・グラフ・データの読取り
  • 5.2.1 単純なグラフ・ファイルの作成
  • 5.2.2 頂点プロパティの追加
  • 5.2.3 頂点識別子としての文字列の使用
  • 5.2.4 エッジ・プロパティの追加
• 5.3 グラフ・データのディスクへの格納
  • 5.3.1 頂点プロパティへの分析結果の格納
  • 5.3.2 エッジリスト形式でのグラフのディスクへの格納
• 5.4 組込みアルゴリズムの実行
  • 5.4.1 インメモリー分析について
  • 5.4.2 Triangle Countingアルゴリズムの実行
  • 5.4.3 Pagerankアルゴリズムの実行
• 5.5 サブグラフの作成
  • 5.5.1 フィルタ式について
  • 5.5.2 簡易フィルタを使用したサブグラフの作成
  • 5.5.3 複合フィルタを使用したサブグラフの作成
  • 5.5.4 頂点集合を使用した2部サブグラフの作成
• 5.6 Jettyへのデプロイ
  • 5.6.1 認証メカニズムについて
• 5.7 Apache Tomcatへのデプロイ
• 5.8 Oracle WebLogic Serverへのデプロイ
  • 5.8.1 Oracle WebLogic Serverのデプロイ
  • 5.8.2 インメモリー分析のデプロイ
  • 5.8.3 サーバーが動作していることの確認
• 5.9 インメモリー分析サーバーへの接続
  • 5.9.1 インメモリー分析シェルによる接続
    • 5.9.1.1 HTTPリクエストのロギングについて
  • 5.9.2 Javaによる接続
  • 5.9.3 HTTPリクエストによる接続
• 5.10 HDFSでのデータの読取りおよび格納
  • 5.10.1 HDFSからのデータのロード
  • 5.10.2 グラフ・スナップショットのHDFSへの格納
  • 5.10.3 HadoopでのJavaアプリケーションのコンパイルおよび実行
• 5.11 YARNアプリケーションとしてのインメモリー分析の実行
  • 5.11.1 インメモリー分析サービスの開始および停止
    • 5.11.1.1 インメモリー分析YARNクライアントの構成
    • 5.11.1.2 新規インメモリー分析サービスの開始
    • 5.11.1.3 長期実行インメモリー分析サービスについて
    • 5.11.1.4 インメモリー分析サービスの停止
  • 5.11.2 インメモリー分析サービスへの接続
  • 5.11.3 インメモリー分析サービスの監視

6 マルチメディア分析の使用

• 6.1 マルチメディア分析について
• 6.2 マルチメディア分析フレームワークを使用した顔認識
  • 6.2.1 顔を検出するためのトレーニング
  • 6.2.2 トレーニングに使用する顔の選択
  • 6.2.3 ビデオでの顔の検出
  • 6.2.4 イメージでの顔の検出
  • 6.2.5 顔検出の例およびトレーニング資料
• 6.3 マルチメディア分析の構成プロパティ
• 6.4 サードパーティ・ソフトウェアとマルチメディア分析フレームワークの併用
• 6.5 出力のイメージの表示

A 同梱されているソフトウェアのサード・パーティ・ライセンス

• A.1 Apache Licensed Code
• A.2 ANTLR 3
• A.3 AOP Alliance
• A.4 Apache Commons CLI
• A.5 Apache Commons Codec
• A.6 Apache Commons Collections
• A.7 Apache Commons Configuration
• A.8 Apache Commons IO
• A.9 Apache Commons Lang
• A.10 Apache Commons Logging
• A.11 Apache fluent
• A.12 Apache Groovy
• A.13 Apache htrace
• A.14 Apache HTTP Client
• A.15 Apache HTTPComponents Core
• A.16 Apache Jena
• A.17 Apache Log4j
• A.18 Apache Lucene
• A.19 Apache Xerces2
• A.20 Apache xml-commons
• A.21 Cloudera CDH
• A.22 Fastutil
• A.23 GeoNamesデータ
• A.24 Geospatial Data Abstraction Library (GDAL)
• A.25 Google Guava
• A.26 Google Guice
• A.27 Google protobuf
• A.28 Jackson
• A.29 Jansi
• A.30 JCodec
• A.31 Jettison
• A.32 JLine
• A.33 Javassist
• A.34 Jung
• A.35 MessagePack
• A.36 Netty
• A.37 OpenCV
• A.38 Slf4j
• A.39 Tinkerpop Blueprints
• A.40 Tinkerpop Gremlin
• A.41 Tinkerpop Pipes