目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• 表記規則
• バッカス・ナウア記法の構文
• Oracle Big Data Applianceリリース4 (4.10)での変更点

第I部 管理

1 Oracle Big Data Applianceの概要

• 1.1 ビッグ・データとは
  • 1.1.1 多様性
  • 1.1.2 高い複雑性
  • 1.1.3 大量
  • 1.1.4 高速度
• 1.2 Oracleのビッグ・データ・ソリューション
• 1.3 Big Data Appliance用のソフトウェア
  • 1.3.1 ソフトウェア・コンポーネントの概要
• 1.4 分析用データの取得
  • 1.4.1 Hadoop Distributed File System
  • 1.4.2 Apache Hive
  • 1.4.3 Oracle NoSQL Database
• 1.5 ビッグ・データの体系化
  • 1.5.1 MapReduce
  • 1.5.2 Oracle Big Data SQL
  • 1.5.3 Oracle Big Data Connectors
    • 1.5.3.1 Oracle SQL Connector for Hadoop Distributed File System
    • 1.5.3.2 Oracle Loader for Hadoop
    • 1.5.3.3 Oracle Data Integrator Enterprise Edition
    • 1.5.3.4 Oracle XQuery for Hadoop
    • 1.5.3.5 Oracle R Advanced Analytics for Hadoop
    • 1.5.3.6 Oracle Shell for Hadoop Loaders
  • 1.5.4 ビッグ・データに対するRのサポート
• 1.6 ビッグ・データの分析と視覚化

2 Oracle Big Data Applianceの管理

• 2.1 Oracle Enterprise Managerを使用した複数のクラスタの監視
  • 2.1.1 Enterprise Manager Webインタフェースの使用
  • 2.1.2 Enterprise Managerコマンドライン・インタフェースの使用
• 2.2 Cloudera Managerを使用した操作の管理
  • 2.2.1 Oracle Big Data Applianceのステータスの監視
  • 2.2.2 管理タスクの実行
  • 2.2.3 Cloudera Managerを使用したCDHサービスの管理
• 2.3 Hadoop監視ユーティリティの使用方法
  • 2.3.1 MapReduceジョブの監視
  • 2.3.2 HDFSの状態の監視
• 2.4 Cloudera Hueを使用したHadoopの操作
• 2.5 Oracle Big Data Applianceソフトウェアについて
  • 2.5.1 ソフトウェア・コンポーネント
  • 2.5.2 未構成のソフトウェア
  • 2.5.3 サービス間でのリソースの割当て
• 2.6 CDHソフトウェア・サービスについて
  • 2.6.1 3ノードの開発クラスタ上でサービスが実行される場所
  • 2.6.2 シングルラックCDHクラスタ上でサービスが実行される場所
  • 2.6.3 マルチラックCDHクラスタ上でサービスが実行される場所
  • 2.6.4 MapReduceについて
  • 2.6.5 NameNodeの自動フェイルオーバー
  • 2.6.6 ResourceManagerの自動フェイルオーバー
  • 2.6.7 マップとリデュースのリソース割当て
• 2.7 ソフトウェアの可用性に与えるハードウェアの影響
  • 2.7.1 論理ディスク・レイアウト
  • 2.7.2 クリティカルおよび非クリティカルCDHノード
    • 2.7.2.1 高可用性または単一障害点
    • 2.7.2.2 重要なサービスが実行される場所
  • 2.7.3 第1NameNodeノード
  • 2.7.4 第2NameNodeノード
  • 2.7.5 第1ResourceManagerノード
  • 2.7.6 第2ResourceManagerノード
  • 2.7.7 非クリティカルCDHノード
• 2.8 ハードウェア障害の管理
  • 2.8.1 Oracle NoSQL Databaseクラスタについて
  • 2.8.2 障害が発生しているノードを管理するための前提条件
  • 2.8.3 障害が発生しているCDHクリティカル・ノードの管理
  • 2.8.4 障害が発生している非クリティカル・ノードの管理
• 2.9 Oracle Big Data Applianceの停止および起動
  • 2.9.1 前提条件
  • 2.9.2 Oracle Big Data Applianceの停止
    • 2.9.2.1 すべての管理対象サービスの停止
    • 2.9.2.2 Cloudera Manager Serverの停止
    • 2.9.2.3 Oracle Data Integratorエージェントの停止
    • 2.9.2.4 NFSディレクトリのディスマウント
    • 2.9.2.5 サーバーの停止
    • 2.9.2.6 インフィニバンドおよびCiscoスイッチの停止
  • 2.9.3 Oracle Big Data Applianceの起動
    • 2.9.3.1 Oracle Big Data Applianceの電源投入
    • 2.9.3.2 HDFSソフトウェア・サービスの開始
    • 2.9.3.3 Oracle Data Integratorエージェントの起動
• 2.10 Oracle Big Data SQLの管理
  • 2.10.1 Oracle Big Data SQLサービスの追加および削除
  • 2.10.2 Oracle Big Data SQL用のイーサネット接続とインフィニバンド接続からの選択
  • 2.10.3 Oracle Big Data SQLへのリソースの割当て
• 2.11 Oracle Big Data Applianceのセキュリティ
  • 2.11.1 事前定義済のユーザーおよびグループについて
  • 2.11.2 ユーザー認証について
  • 2.11.3 ファイングレイン認証について
  • 2.11.4 HDFSでの透過的暗号化について
  • 2.11.5 HTTPS/ネットワーク暗号化について
    • 2.11.5.1 Kerberos認証を使用するためのWebブラウザの構成
  • 2.11.6 Oracle Big Data Applianceで使用されるポート番号
  • 2.11.7 Puppetのセキュリティについて
• 2.12 Oracle Big Data Applianceの監査
• 2.13 オラクル社カスタマ・サポートに提供する診断情報の収集

3 Oracle Big Data Applianceへのユーザー・アクセスのサポート

• 3.1 Kerberosで保護されたクラスタへのアクセスについて
• 3.2 CDHへのリモート・クライアント・アクセスの提供
  • 3.2.1 前提条件
  • 3.2.2 サポートされているすべてのオペレーティング・システムにCDHクライアントをインストールする
  • 3.2.3 保護されていないクラスタ用のCDHクライアントの構成
  • 3.2.4 Kerberosで保護されたクラスタ用のCDHクライアントの構成
  • 3.2.5 CDHクライアントからクラスタへのアクセス権の確認
• 3.3 Hiveへのリモート・クライアント・アクセスの提供
• 3.4 ユーザー・アカウントの管理
  • 3.4.1 Hadoopクラスタ・ユーザーの作成
    • 3.4.1.1 保護されていないクラスタでのユーザーの作成
    • 3.4.1.2 保護されたクラスタでのユーザーの作成
  • 3.4.2 ユーザー・ログイン権限の付与(オプション)
• 3.5 削除されたファイルのリカバリ
  • 3.5.1 ごみ箱からのファイルのリストア
  • 3.5.2 ごみ箱を空にする間隔の変更
  • 3.5.3 ごみ箱機能の無効化
    • 3.5.3.1 ごみ箱機能の完全な無効化
    • 3.5.3.2 ローカルのHDFSクライアントのごみ箱機能の無効化
    • 3.5.3.3 リモートのHDFSクライアントのごみ箱機能の無効化

4 Oracle Big Data Applianceと併用するためのOracle Exadata Database Machineの構成

• 4.1 通信の最適化について
  • 4.1.1 Oracle Exadata Database Machineにデータをプルするアプリケーションについて
  • 4.1.2 Oracle Exadata Database Machineにデータをプッシュするアプリケーションについて
• 4.2 通信の最適化の前提条件
• 4.3 Oracle Big Data Applianceへのインフィニバンド接続の指定
• 4.4 Oracle Exadata Database Machineへのインフィニバンド接続の指定
• 4.5 Exadata DatabaseノードでのSDPの有効化
• 4.6 インフィニバンド・ネットワーク上でのSDPリスナーの作成

第II部 Oracle Big Data Applianceソフトウェア

5 Perfect Balanceを使用したMapReduceジョブの最適化

• 5.1 Perfect Balanceとは
  • 5.1.1 マップおよびリデュース・タスク間でのジョブの均衡化について
  • 5.1.2 Perfect Balanceのコンポーネント
• 5.2 アプリケーション要件
• 5.3 Perfect Balanceの概要
• 5.4 ジョブのリデューサ・ロードの分析
  • 5.4.1 Job Analyzerについて
    • 5.4.1.1 Job Analyzerの実行方法
  • 5.4.2 Job Analyzerをスタンドアロン・ユーティリティとして実行する
    • 5.4.2.1 Job Analyzerユーティリティの例
    • 5.4.2.2 Job Analyzerユーティリティの構文
  • 5.4.3 Perfect Balanceを使用したJob Analyzerの実行
    • 5.4.3.1 Perfect Balance APIを使用したJob Analyzerの実行
    • 5.4.3.2 追加メトリックの収集
  • 5.4.4 Job Analyzerレポートの分析
• 5.5 Perfect Balanceの構成について
• 5.6 Perfect Balanceを使用したBalanced MapReduceジョブの実行
  • 5.6.1 Perfect Balanceを使用するためのJavaコードの変更
  • 5.6.2 変更したJavaコードとPerfect Balanceの実行
• 5.7 Perfect Balanceレポートについて
• 5.8 分割について
  • 5.8.1 分割方法の選択
  • 5.8.2 分割がアプリケーションに及ぼす影響
• 5.9 Perfect Balanceで実行されているジョブのトラブルシューティング
• 5.10 Perfect Balanceの例について
  • 5.10.1 この章の例について
  • 5.10.2 例データ・セットの抽出
• 5.11 Perfect Balance構成プロパティ・リファレンス

第III部 Oracle Table Access for Hadoop and Spark

6 Oracle DataSource for Apache Hadoop (OD4H)

• 6.1 業務系データ、ビッグ・データおよび要件
• 6.2 Oracle DataSource for Apache Hadoop (OD4H)の概要
  • 6.2.1 Hadoop 2.xを活用できる状況
  • 6.2.2 Hadoopデータ・ソースとしてのOracle表
  • 6.2.3 外部表
    • 6.2.3.1 TBLPROPERTIES
    • 6.2.3.2 SERDE PROPERTIES
  • 6.2.4 OD4Hパッケージ内のjarのリスト
• 6.3 OD4Hの動作方法
  • 6.3.1 Oracle Database表の作成または既存の表の再利用
  • 6.3.2 Hive DDL
  • 6.3.3 Hiveでの外部表の作成
• 6.4 OD4Hの機能
  • 6.4.1 パフォーマンスおよびスケーラビリティ機能
    • 6.4.1.1 スプリッタ
    • 6.4.1.2 スプリッタの選択
    • 6.4.1.3 述語のプッシュダウン
    • 6.4.1.4 予測のプッシュダウン
    • 6.4.1.5 パーティション・プルーニング
  • 6.4.2 スマート接続管理
  • 6.4.3 セキュリティ機能
    • 6.4.3.1 認証の改善
• 6.5 OD4HでのHiveQLの使用方法
• 6.6 OD4HでのSpark SQLの使用方法
• 6.7 Oracle Databaseへの書込み

用語集

索引