ヘッダーをスキップ
Oracle® Big Data Applianceソフトウェア・ユーザーズ・ガイド
リリース4 (4.0)
E57728-01
索引
次
目次
タイトルおよび著作権情報
はじめに
対象読者
ドキュメントのアクセシビリティについて
関連ドキュメント
表記規則
バッカス・ナウア記法の構文
第I部 管理
1
Oracle Big Data Applianceの概要
1.1
ビッグ・データとは
1.1.1
多様性
1.1.2
高い複雑性
1.1.3
大量
1.1.4
高速度
1.2
Oracleのビッグ・データ・ソリューション
1.3
ビッグ・データ用のソフトウェア
1.3.1
ソフトウェア・コンポーネントの概要
1.4
分析用データの取得
1.4.1
Hadoop Distributed File System
1.4.2
Apache Hive
1.4.3
Oracle NoSQL Database
1.5
ビッグ・データの体系化
1.5.1
MapReduce
1.5.2
Oracle Big Data Connectors
1.5.2.1
Oracle SQL Connector for Hadoop Distributed File System
1.5.2.2
Oracle Loader for Hadoop
1.5.2.3
Oracle Data Integrator Application Adapter for Hadoop
1.5.2.4
Oracle XQuery for Hadoop
1.5.2.5
Oracle R Advanced Analytics for Hadoop
1.5.3
ビッグ・データに対するRのサポート
1.6
ビッグ・データの分析と視覚化
2
Oracle Big Data Applianceの管理
2.1
Oracle Enterprise Managerを使用した複数のクラスタの監視
2.1.1
Enterprise Manager Webインタフェースの使用
2.1.2
Enterprise Managerコマンドライン・インタフェースの使用
2.2
Cloudera Managerを使用した操作の管理
2.2.1
Oracle Big Data Applianceのステータスの監視
2.2.2
管理タスクの実行
2.2.3
Cloudera Managerを使用したCDHサービスの管理
2.3
Hadoop監視ユーティリティの使用方法
2.3.1
MapReduceジョブの監視
2.3.2
HDFSの状態の監視
2.4
Cloudera Hueを使用したHadoopの操作
2.5
Oracle Big Data Applianceソフトウェアについて
2.5.1
ソフトウェア・コンポーネント
2.5.2
未構成のソフトウェア
2.5.3
サービス間でのリソースの割当て
2.6
CDHソフトウェア・サービスについて
2.6.1
シングルラック・クラスタ上でサービスが実行される場所
2.6.2
マルチラック・クラスタ上でサービスが実行される場所
2.6.3
MapReduceについて
2.6.4
NameNodeの自動フェイルオーバー
2.6.5
ResourceManagerの自動フェイルオーバー
2.6.6
MapとReduceのリソース構成
2.7
ソフトウェアの可用性に与えるハードウェアの影響
2.7.1
論理ディスク・レイアウト
2.7.2
クリティカル・ノードと非クリティカル・ノード
2.7.2.1
高可用性または単一障害点
2.7.2.2
重要なサービスが実行される場所
2.7.3
第1NameNode
2.7.4
第2NameNode
2.7.5
第1ResourceManager
2.7.6
第2ResourceManager
2.7.7
非クリティカル・ノード
2.8
ハードウェア障害の管理
2.9
Oracle Big Data Applianceの停止および起動
2.9.1
前提条件
2.9.2
Oracle Big Data Applianceの停止
2.9.3
Oracle Big Data Applianceの起動
2.10
Oracle Big Data SQLの管理
2.10.1
Oracle Big Data SQLサービスの追加および削除
2.10.2
Oracle Big Data SQLへのリソースの割当て
2.11
YARNからMapReduce 1への切替え
2.12
Oracle Big Data Applianceのセキュリティ
2.12.1
事前定義済のユーザーおよびグループについて
2.12.2
ユーザー認証について
2.12.3
ファイングレイン認証について
2.12.4
オンディスク暗号化について
2.12.5
Oracle Big Data Applianceで使用されるポート番号
2.12.6
Puppetのセキュリティについて
2.13
Oracle Big Data Applianceの監査
2.13.1
Oracle Audit Vault and Database Firewallについて
2.13.2
Oracle Big Data Applianceプラグインの設定
2.13.3
Oracle Big Data Applianceの監視
2.14
オラクル社カスタマ・サポートに提供する診断情報の収集
3
Oracle Big Data Applianceへのユーザー・アクセスのサポート
3.1
Kerberosで保護されたクラスタへのアクセスについて
3.2
CDHへのリモート・クライアント・アクセスの提供
3.2.1
前提条件
3.2.2
Oracle Exadata Database MachineでのCDHのインストール
3.2.3
サポートされているすべてのオペレーティング・システムにCDHクライアントをインストールする
3.2.4
保護されていないクラスタ用のCDHクライアントの構成
3.2.5
Kerberosで保護されたクラスタ用のCDHクライアントの構成
3.2.6
CDHクライアントからクラスタへのアクセス権の確認
3.3
Hiveへのリモート・クライアント・アクセスの提供
3.4
ユーザー・アカウントの管理
3.4.1
Hadoopクラスタ・ユーザーの作成
3.4.1.1
保護されていないクラスタでのユーザーの作成
3.4.1.2
保護されたクラスタでのユーザーの作成
3.4.2
ユーザー・ログイン権限の付与(オプション)
3.5
削除されたファイルのリカバリ
3.5.1
ごみ箱からのファイルのリストア
3.5.2
ごみ箱を空にする間隔の変更
3.5.3
ごみ箱機能の無効化
3.5.3.1
ごみ箱機能の完全な無効化
3.5.3.2
ローカルのHDFSクライアントのごみ箱機能の無効化
3.5.3.3
リモートのHDFSクライアントのごみ箱機能の無効化
4
Oracle Big Data Applianceと併用するためのOracle Exadata Database Machineの構成
4.1
通信の最適化について
4.1.1
Oracle Exadata Database Machineにデータをプルするアプリケーションについて
4.1.2
Oracle Exadata Database Machineにデータをプッシュするアプリケーションについて
4.2
通信の最適化の前提条件
4.3
Oracle Big Data Applianceへのインフィニバンド接続の指定
4.4
Oracle Exadata Database Machineへのインフィニバンド接続の指定
4.5
Exadata DatabaseノードでのSDPの有効化
4.6
SDPを使用するためのJDBCクライアントの構成
4.7
インフィニバンド・ネットワーク上でのSDPリスナーの作成
第II部 Oracle Big Data Applianceソフトウェア
5
Perfect Balanceを使用したMapReduceジョブの最適化
5.1
Perfect Balanceとは
5.1.1
マップおよびリデュース・タスク間でのジョブの均衡化について
5.1.2
Perfect Balance機能の使用方法
5.1.3
Perfect Balanceのコンポーネント
5.2
アプリケーション要件
5.3
Perfect Balanceの概要
5.4
ジョブのリデューサ・ロードの分析
5.4.1
Job Analyzerについて
5.4.1.1
Job Analyzerの実行方法
5.4.2
Job Analyzerをスタンドアロン・ユーティリティとして実行する
5.4.2.1
Job Analyzerユーティリティの例
5.4.2.2
Job Analyzerユーティリティの構文
5.4.3
Perfect Balanceを使用したJob Analyzerの実行
5.4.3.1
Perfect Balanceを使用したJob Analyzerの実行
5.4.3.2
追加メトリックの収集
5.4.4
Job Analyzerレポートの分析
5.5
Perfect Balanceの構成について
5.6
Perfect Balanceを使用したBalanced MapReduceジョブの実行
5.7
Perfect Balanceレポートについて
5.8
分割について
5.8.1
分割方法の選択
5.8.2
分割がアプリケーションに及ぼす影響
5.9
Perfect Balanceで実行されているジョブのトラブルシューティング
5.10
Perfect Balance APIの使用
5.10.1
Perfect Balanceを使用するためのJavaコードの変更
5.10.2
変更したJavaコードとPerfect Balanceの実行
5.11
Perfect Balanceの例について
5.11.1
この章の例について
5.11.2
例データ・セットの抽出
5.12
Perfect Balance構成プロパティ・リファレンス
第III部 Oracle Big Data SQL
6
データ・アクセスのためのOracle Big Data SQLの使用
6.1
Oracle Big Data SQLとは
6.1.1
Oracle外部表について
6.1.2
Oracle Big Data SQLのアクセス・ドライバについて
6.1.3
Smart Scanテクノロジについて
6.1.4
Oracle Big Data SQLを使用したデータ・セキュリティについて
6.2
Oracle Big Data SQLのインストール
6.2.1
Oracle Big Data SQLを使用するための前提条件
6.2.2
Oracle Big Data Applianceへのソフトウェアのインストール
6.2.3
Oracle Exadata Database Machineへのソフトウェアのインストール
6.2.3.1
bds-exa-installスクリプトの実行
6.2.3.2
bds-ex-installの構文
6.3
ビッグ・データにアクセスするための外部表の作成
6.3.1
基本的なCREATE TABLE構文について
6.3.2
Hive表の外部表の作成
6.3.2.1
Hive表に関する情報の取得
6.3.2.2
CREATE_EXTDDL_FOR_HIVE関数の使用
6.3.2.3
ORACLE_HIVEのCREATE TABLE文の作成
6.3.3
HDFSファイルの外部表の作成
6.3.3.1
デフォルトのアクセス・パラメータとORACLE_HDFSの使用
6.3.3.2
ORACLE_HDFSのデフォルト設定の上書き
6.4
外部表の句について
6.4.1
TYPE句
6.4.2
DEFAULT DIRECTORY句
6.4.3
LOCATION句
6.4.3.1
ORACLE_HDFS LOCATION句
6.4.3.2
ORACLE_HIVE LOCATION句
6.4.4
REJECT LIMIT句
6.4.5
ACCESS PARAMETERS句
6.5
データ型変換について
6.6
外部表の問合せ
6.6.1
ユーザー・アクセス権の付与
6.6.2
エラー処理の概要
6.6.3
ログ・ファイルについて
6.7
Oracle Exadata Database Machine上のOracle Big Data SQLについて
6.7.1
Big Data SQLエージェントの起動および停止
6.7.2
共通ディレクトリについて
6.7.3
一般的な構成プロパティ
6.7.3.1
bigdata.properties
6.7.3.2
bigdata-log4j.properties
6.7.4
クラスタ・ディレクトリについて
6.7.5
権限について
7
Oracle Big Data SQLリファレンス
DBMS_HADOOP PL/SQLパッケージ
CREATE_EXTDDL_FOR_HIVE
例
CREATE TABLE ACCESS PARAMETERS句
プロパティを指定するための構文ルール
ORACLE_HDFSアクセス・パラメータ
ORACLE_HDFSのデフォルトのパラメータ設定
ORACLE_HDFSのオプションのパラメータ設定
ORACLE_HIVEアクセス・パラメータ
ORACLE_HIVEのデフォルトのパラメータ設定
ORACLE_HIVEのオプションのパラメータ値
com.oracle.bigdata.colmap
com.oracle.bigdata.datamode
com.oracle.bigdata.erroropt
com.oracle.bigdata.fields
com.oracle.bigdata.fileformat
com.oracle.bigdata.log.exec
com.oracle.bigdata.log.qc
com.oracle.bigdata.overflow
com.oracle.bigdata.rowformat
com.oracle.bigdata.tablename
Hiveの静的データ・ディクショナリ・ビュー
ALL_HIVE_DATABASES
ALL_HIVE_TABLES
ALL_HIVE_COLUMNS
DBA_HIVE_DATABASES
DBA_HIVE_TABLES
DBA_HIVE_COLUMNS
USER_HIVE_DATABASES
USER_HIVE_TABLES
USER_HIVE_COLUMNS
用語集
索引