目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• 表記規則
• バッカス・ナウア記法の構文

第I部 管理

1 Oracle Big Data Applianceの概要

• 1.1 ビッグ・データとは
  • 1.1.1 多様性
  • 1.1.2 高い複雑性
  • 1.1.3 大量
  • 1.1.4 高速度
• 1.2 Oracleのビッグ・データ・ソリューション
• 1.3 ビッグ・データ用のソフトウェア
  • 1.3.1 ソフトウェア・コンポーネントの概要
• 1.4 分析用データの取得
  • 1.4.1 Hadoop Distributed File System
  • 1.4.2 Apache Hive
  • 1.4.3 Oracle NoSQL Database
• 1.5 ビッグ・データの体系化
  • 1.5.1 MapReduce
  • 1.5.2 Oracle Big Data Connectors
    • 1.5.2.1 Oracle SQL Connector for Hadoop Distributed File System
    • 1.5.2.2 Oracle Loader for Hadoop
    • 1.5.2.3 Oracle Data Integrator Application Adapter for Hadoop
    • 1.5.2.4 Oracle XQuery for Hadoop
    • 1.5.2.5 Oracle R Advanced Analytics for Hadoop
  • 1.5.3 ビッグ・データに対するRのサポート
• 1.6 ビッグ・データの分析と視覚化

2 Oracle Big Data Applianceの管理

• 2.1 Oracle Enterprise Managerを使用した複数のクラスタの監視
  • 2.1.1 Enterprise Manager Webインタフェースの使用
  • 2.1.2 Enterprise Managerコマンドライン・インタフェースの使用
• 2.2 Cloudera Managerを使用した操作の管理
  • 2.2.1 Oracle Big Data Applianceのステータスの監視
  • 2.2.2 管理タスクの実行
  • 2.2.3 Cloudera Managerを使用したCDHサービスの管理
• 2.3 Hadoop監視ユーティリティの使用方法
  • 2.3.1 MapReduceジョブの監視
  • 2.3.2 HDFSの状態の監視
• 2.4 Cloudera Hueを使用したHadoopの操作
• 2.5 Oracle Big Data Applianceソフトウェアについて
  • 2.5.1 ソフトウェア・コンポーネント
  • 2.5.2 未構成のソフトウェア
  • 2.5.3 サービス間でのリソースの割当て
• 2.6 CDHソフトウェア・サービスについて
  • 2.6.1 シングルラック・クラスタ上でサービスが実行される場所
  • 2.6.2 マルチラック・クラスタ上でサービスが実行される場所
  • 2.6.3 MapReduceについて
  • 2.6.4 NameNodeの自動フェイルオーバー
  • 2.6.5 ResourceManagerの自動フェイルオーバー
  • 2.6.6 MapとReduceのリソース構成
• 2.7 ソフトウェアの可用性に与えるハードウェアの影響
  • 2.7.1 論理ディスク・レイアウト
  • 2.7.2 クリティカル・ノードと非クリティカル・ノード
    • 2.7.2.1 高可用性または単一障害点
    • 2.7.2.2 重要なサービスが実行される場所
  • 2.7.3 第1NameNode
  • 2.7.4 第2NameNode
  • 2.7.5 第1ResourceManager
  • 2.7.6 第2ResourceManager
  • 2.7.7 非クリティカル・ノード
• 2.8 ハードウェア障害の管理
• 2.9 Oracle Big Data Applianceの停止および起動
  • 2.9.1 前提条件
  • 2.9.2 Oracle Big Data Applianceの停止
  • 2.9.3 Oracle Big Data Applianceの起動
• 2.10 Oracle Big Data SQLの管理
  • 2.10.1 Oracle Big Data SQLサービスの追加および削除
  • 2.10.2 Oracle Big Data SQLへのリソースの割当て
• 2.11 YARNからMapReduce 1への切替え
• 2.12 Oracle Big Data Applianceのセキュリティ
  • 2.12.1 事前定義済のユーザーおよびグループについて
  • 2.12.2 ユーザー認証について
  • 2.12.3 ファイングレイン認証について
  • 2.12.4 オンディスク暗号化について
  • 2.12.5 Oracle Big Data Applianceで使用されるポート番号
  • 2.12.6 Puppetのセキュリティについて
• 2.13 Oracle Big Data Applianceの監査
  • 2.13.1 Oracle Audit Vault and Database Firewallについて
  • 2.13.2 Oracle Big Data Applianceプラグインの設定
  • 2.13.3 Oracle Big Data Applianceの監視
• 2.14 オラクル社カスタマ・サポートに提供する診断情報の収集

3 Oracle Big Data Applianceへのユーザー・アクセスのサポート

• 3.1 Kerberosで保護されたクラスタへのアクセスについて
• 3.2 CDHへのリモート・クライアント・アクセスの提供
  • 3.2.1 前提条件
  • 3.2.2 Oracle Exadata Database MachineでのCDHのインストール
  • 3.2.3 サポートされているすべてのオペレーティング・システムにCDHクライアントをインストールする
  • 3.2.4 保護されていないクラスタ用のCDHクライアントの構成
  • 3.2.5 Kerberosで保護されたクラスタ用のCDHクライアントの構成
  • 3.2.6 CDHクライアントからクラスタへのアクセス権の確認
• 3.3 Hiveへのリモート・クライアント・アクセスの提供
• 3.4 ユーザー・アカウントの管理
  • 3.4.1 Hadoopクラスタ・ユーザーの作成
    • 3.4.1.1 保護されていないクラスタでのユーザーの作成
    • 3.4.1.2 保護されたクラスタでのユーザーの作成
  • 3.4.2 ユーザー・ログイン権限の付与(オプション)
• 3.5 削除されたファイルのリカバリ
  • 3.5.1 ごみ箱からのファイルのリストア
  • 3.5.2 ごみ箱を空にする間隔の変更
  • 3.5.3 ごみ箱機能の無効化
    • 3.5.3.1 ごみ箱機能の完全な無効化
    • 3.5.3.2 ローカルのHDFSクライアントのごみ箱機能の無効化
    • 3.5.3.3 リモートのHDFSクライアントのごみ箱機能の無効化

4 Oracle Big Data Applianceと併用するためのOracle Exadata Database Machineの構成

• 4.1 通信の最適化について
  • 4.1.1 Oracle Exadata Database Machineにデータをプルするアプリケーションについて
  • 4.1.2 Oracle Exadata Database Machineにデータをプッシュするアプリケーションについて
• 4.2 通信の最適化の前提条件
• 4.3 Oracle Big Data Applianceへのインフィニバンド接続の指定
• 4.4 Oracle Exadata Database Machineへのインフィニバンド接続の指定
• 4.5 Exadata DatabaseノードでのSDPの有効化
• 4.6 SDPを使用するためのJDBCクライアントの構成
• 4.7 インフィニバンド・ネットワーク上でのSDPリスナーの作成

第II部 Oracle Big Data Applianceソフトウェア

5 Perfect Balanceを使用したMapReduceジョブの最適化

• 5.1 Perfect Balanceとは
  • 5.1.1 マップおよびリデュース・タスク間でのジョブの均衡化について
  • 5.1.2 Perfect Balance機能の使用方法
  • 5.1.3 Perfect Balanceのコンポーネント
• 5.2 アプリケーション要件
• 5.3 Perfect Balanceの概要
• 5.4 ジョブのリデューサ・ロードの分析
  • 5.4.1 Job Analyzerについて
    • 5.4.1.1 Job Analyzerの実行方法
  • 5.4.2 Job Analyzerをスタンドアロン・ユーティリティとして実行する
    • 5.4.2.1 Job Analyzerユーティリティの例
    • 5.4.2.2 Job Analyzerユーティリティの構文
  • 5.4.3 Perfect Balanceを使用したJob Analyzerの実行
    • 5.4.3.1 Perfect Balanceを使用したJob Analyzerの実行
    • 5.4.3.2 追加メトリックの収集
  • 5.4.4 Job Analyzerレポートの分析
• 5.5 Perfect Balanceの構成について
• 5.6 Perfect Balanceを使用したBalanced MapReduceジョブの実行
• 5.7 Perfect Balanceレポートについて
• 5.8 分割について
  • 5.8.1 分割方法の選択
  • 5.8.2 分割がアプリケーションに及ぼす影響
• 5.9 Perfect Balanceで実行されているジョブのトラブルシューティング
• 5.10 Perfect Balance APIの使用
  • 5.10.1 Perfect Balanceを使用するためのJavaコードの変更
  • 5.10.2 変更したJavaコードとPerfect Balanceの実行
• 5.11 Perfect Balanceの例について
  • 5.11.1 この章の例について
  • 5.11.2 例データ・セットの抽出
• 5.12 Perfect Balance構成プロパティ・リファレンス

第III部 Oracle Big Data SQL

6 データ・アクセスのためのOracle Big Data SQLの使用

• 6.1 Oracle Big Data SQLとは
  • 6.1.1 Oracle外部表について
  • 6.1.2 Oracle Big Data SQLのアクセス・ドライバについて
  • 6.1.3 Smart Scanテクノロジについて
  • 6.1.4 Oracle Big Data SQLを使用したデータ・セキュリティについて
• 6.2 Oracle Big Data SQLのインストール
  • 6.2.1 Oracle Big Data SQLを使用するための前提条件
  • 6.2.2 Oracle Big Data Applianceへのソフトウェアのインストール
  • 6.2.3 Oracle Exadata Database Machineへのソフトウェアのインストール
    • 6.2.3.1 bds-exa-installスクリプトの実行
    • 6.2.3.2 bds-ex-installの構文
• 6.3 ビッグ・データにアクセスするための外部表の作成
  • 6.3.1 基本的なCREATE TABLE構文について
  • 6.3.2 Hive表の外部表の作成
    • 6.3.2.1 Hive表に関する情報の取得
    • 6.3.2.2 CREATE_EXTDDL_FOR_HIVE関数の使用
    • 6.3.2.3 ORACLE_HIVEのCREATE TABLE文の作成
  • 6.3.3 HDFSファイルの外部表の作成
    • 6.3.3.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
    • 6.3.3.2 ORACLE_HDFSのデフォルト設定の上書き
• 6.4 外部表の句について
  • 6.4.1 TYPE句
  • 6.4.2 DEFAULT DIRECTORY句
  • 6.4.3 LOCATION句
    • 6.4.3.1 ORACLE_HDFS LOCATION句
    • 6.4.3.2 ORACLE_HIVE LOCATION句
  • 6.4.4 REJECT LIMIT句
  • 6.4.5 ACCESS PARAMETERS句
• 6.5 データ型変換について
• 6.6 外部表の問合せ
  • 6.6.1 ユーザー・アクセス権の付与
  • 6.6.2 エラー処理の概要
  • 6.6.3 ログ・ファイルについて
• 6.7 Oracle Exadata Database Machine上のOracle Big Data SQLについて
  • 6.7.1 Big Data SQLエージェントの起動および停止
  • 6.7.2 共通ディレクトリについて
  • 6.7.3 一般的な構成プロパティ
    • 6.7.3.1 bigdata.properties
    • 6.7.3.2 bigdata-log4j.properties
  • 6.7.4 クラスタ・ディレクトリについて
  • 6.7.5 権限について

7 Oracle Big Data SQLリファレンス

• DBMS_HADOOP PL/SQLパッケージ
  • CREATE_EXTDDL_FOR_HIVE
    • 例
• CREATE TABLE ACCESS PARAMETERS句
  • プロパティを指定するための構文ルール
  • ORACLE_HDFSアクセス・パラメータ
    • ORACLE_HDFSのデフォルトのパラメータ設定
    • ORACLE_HDFSのオプションのパラメータ設定
  • ORACLE_HIVEアクセス・パラメータ
    • ORACLE_HIVEのデフォルトのパラメータ設定
    • ORACLE_HIVEのオプションのパラメータ値
  • com.oracle.bigdata.colmap
  • com.oracle.bigdata.datamode
  • com.oracle.bigdata.erroropt
  • com.oracle.bigdata.fields
  • com.oracle.bigdata.fileformat
  • com.oracle.bigdata.log.exec
  • com.oracle.bigdata.log.qc
  • com.oracle.bigdata.overflow
  • com.oracle.bigdata.rowformat
  • com.oracle.bigdata.tablename
• Hiveの静的データ・ディクショナリ・ビュー
  • ALL_HIVE_DATABASES
  • ALL_HIVE_TABLES
  • ALL_HIVE_COLUMNS
  • DBA_HIVE_DATABASES
  • DBA_HIVE_TABLES
  • DBA_HIVE_COLUMNS
  • USER_HIVE_DATABASES
  • USER_HIVE_TABLES
  • USER_HIVE_COLUMNS

用語集

索引