目次

タイトルおよび著作権情報

はじめに

• 対象読者
• 関連ドキュメント
• 表記規則
• バッカス・ナウア記法の構文

第I部 管理

1 Oracle Big Data Applianceの概要

• 1.1 ビッグ・データとは
  • 1.1.1 多様性
  • 1.1.2 高い複雑性
  • 1.1.3 大量
  • 1.1.4 高速度
• 1.2 Oracleのビッグ・データ・ソリューション
• 1.3 ビッグ・データ用のソフトウェア
  • 1.3.1 ソフトウェア・コンポーネントの概要
• 1.4 分析用データの取得
  • 1.4.1 Hadoop Distributed File System
  • 1.4.2 Apache Hive
  • 1.4.3 Oracle NoSQL Database
• 1.5 ビッグ・データの体系化
  • 1.5.1 MapReduce
  • 1.5.2 Oracle Big Data SQL
  • 1.5.3 Oracle Big Data Connectors
    • 1.5.3.1 Oracle SQL Connector for Hadoop Distributed File System
    • 1.5.3.2 Oracle Loader for Hadoop
    • 1.5.3.3 Oracle Data Integrator
    • 1.5.3.4 Oracle XQuery for Hadoop
    • 1.5.3.5 Oracle R Advanced Analytics for Hadoop
  • 1.5.4 ビッグ・データに対するRのサポート
• 1.6 ビッグ・データの分析と視覚化

2 Oracle Big Data Applianceの管理

• 2.1 Oracle Enterprise Managerを使用した複数のクラスタの監視
  • 2.1.1 Enterprise Manager Webインタフェースの使用
  • 2.1.2 Enterprise Managerコマンドライン・インタフェースの使用
• 2.2 Cloudera Managerを使用した操作の管理
  • 2.2.1 Oracle Big Data Applianceのステータスの監視
  • 2.2.2 管理タスクの実行
  • 2.2.3 Cloudera Managerを使用したCDHサービスの管理
• 2.3 Hadoop監視ユーティリティの使用方法
  • 2.3.1 MapReduceジョブの監視
  • 2.3.2 HDFSの状態の監視
• 2.4 Cloudera Hueを使用したHadoopの操作
• 2.5 Oracle Big Data Applianceソフトウェアについて
  • 2.5.1 ソフトウェア・コンポーネント
  • 2.5.2 未構成のソフトウェア
  • 2.5.3 サービス間でのリソースの割当て
• 2.6 CDHソフトウェア・サービスについて
  • 2.6.1 シングルラックCDHクラスタ上でサービスが実行される場所
  • 2.6.2 マルチラックCDHクラスタ上でサービスが実行される場所
  • 2.6.3 MapReduceについて
  • 2.6.4 NameNodeの自動フェイルオーバー
  • 2.6.5 ResourceManagerの自動フェイルオーバー
  • 2.6.6 マップとリデュースのリソース割当て
• 2.7 ソフトウェアの可用性に与えるハードウェアの影響
  • 2.7.1 論理ディスク・レイアウト
  • 2.7.2 クリティカルおよび非クリティカルCDHノード
    • 2.7.2.1 高可用性または単一障害点
    • 2.7.2.2 重要なサービスが実行される場所
  • 2.7.3 第1NameNodeノード
  • 2.7.4 第2NameNodeノード
  • 2.7.5 第1ResourceManagerノード
  • 2.7.6 第2ResourceManagerノード
  • 2.7.7 非クリティカルCDHノード
• 2.8 ハードウェア障害の管理
  • 2.8.1 Oracle NoSQL Databaseクラスタについて
  • 2.8.2 障害が発生しているノードを管理するための前提条件
  • 2.8.3 障害が発生しているCDHクリティカル・ノードの管理
  • 2.8.4 障害が発生している非クリティカル・ノードの管理
• 2.9 Oracle Big Data Applianceの停止および起動
  • 2.9.1 前提条件
  • 2.9.2 Oracle Big Data Applianceの停止
    • 2.9.2.1 すべての管理対象サービスの停止
    • 2.9.2.2 Cloudera Manager Serverの停止
    • 2.9.2.3 Oracle Data Integratorエージェントの停止
    • 2.9.2.4 NFSディレクトリのディスマウント
    • 2.9.2.5 サーバーの停止
    • 2.9.2.6 インフィニバンドおよびCiscoスイッチの停止
  • 2.9.3 Oracle Big Data Applianceの起動
    • 2.9.3.1 Oracle Big Data Applianceの電源投入
    • 2.9.3.2 HDFSソフトウェア・サービスの開始
    • 2.9.3.3 Oracle Data Integratorエージェントの起動
• 2.10 Oracle Big Data SQLの管理
  • 2.10.1 Oracle Big Data SQLサービスの追加および削除
  • 2.10.2 Oracle Big Data SQLへのリソースの割当て
• 2.11 Oracle Big Data Applianceのセキュリティ
  • 2.11.1 事前定義済のユーザーおよびグループについて
  • 2.11.2 ユーザー認証について
  • 2.11.3 ファイングレイン認証について
  • 2.11.4 HDFSでの透過的暗号化について
  • 2.11.5 HTTPS/ネットワーク暗号化について
    • 2.11.5.1 Kerberos認証を使用するためのWebブラウザの構成
  • 2.11.6 Oracle Big Data Applianceで使用されるポート番号
  • 2.11.7 Puppetのセキュリティについて
• 2.12 Oracle Big Data Applianceの監査
  • 2.12.1 Oracle Audit Vault and Database Firewallについて
  • 2.12.2 Oracle Big Data Applianceプラグインの設定
  • 2.12.3 Oracle Big Data Applianceの監視
• 2.13 オラクル社カスタマ・サポートに提供する診断情報の収集

3 Oracle Big Data Applianceへのユーザー・アクセスのサポート

• 3.1 Kerberosで保護されたクラスタへのアクセスについて
• 3.2 CDHへのリモート・クライアント・アクセスの提供
  • 3.2.1 前提条件
  • 3.2.2 サポートされているすべてのオペレーティング・システムにCDHクライアントをインストールする
  • 3.2.3 保護されていないクラスタ用のCDHクライアントの構成
  • 3.2.4 Kerberosで保護されたクラスタ用のCDHクライアントの構成
  • 3.2.5 CDHクライアントからクラスタへのアクセス権の確認
• 3.3 Hiveへのリモート・クライアント・アクセスの提供
• 3.4 ユーザー・アカウントの管理
  • 3.4.1 Hadoopクラスタ・ユーザーの作成
    • 3.4.1.1 保護されていないクラスタでのユーザーの作成
    • 3.4.1.2 保護されたクラスタでのユーザーの作成
  • 3.4.2 ユーザー・ログイン権限の付与(オプション)
• 3.5 削除されたファイルのリカバリ
  • 3.5.1 ごみ箱からのファイルのリストア
  • 3.5.2 ごみ箱を空にする間隔の変更
  • 3.5.3 ごみ箱機能の無効化
    • 3.5.3.1 ごみ箱機能の完全な無効化
    • 3.5.3.2 ローカルのHDFSクライアントのごみ箱機能の無効化
    • 3.5.3.3 リモートのHDFSクライアントのごみ箱機能の無効化

4 Oracle Big Data Applianceと併用するためのOracle Exadata Database Machineの構成

• 4.1 通信の最適化について
  • 4.1.1 Oracle Exadata Database Machineにデータをプルするアプリケーションについて
  • 4.1.2 Oracle Exadata Database Machineにデータをプッシュするアプリケーションについて
• 4.2 通信の最適化の前提条件
• 4.3 Oracle Big Data Applianceへのインフィニバンド接続の指定
• 4.4 Oracle Exadata Database Machineへのインフィニバンド接続の指定
• 4.5 Exadata DatabaseノードでのSDPの有効化
• 4.6 インフィニバンド・ネットワーク上でのSDPリスナーの作成

第II部 Oracle Big Data Applianceソフトウェア

5 Perfect Balanceを使用したMapReduceジョブの最適化

• 5.1 Perfect Balanceとは
  • 5.1.1 マップおよびリデュース・タスク間でのジョブの均衡化について
  • 5.1.2 Perfect Balance機能の使用方法
  • 5.1.3 Perfect Balanceのコンポーネント
• 5.2 アプリケーション要件
• 5.3 Perfect Balanceの概要
• 5.4 ジョブのリデューサ・ロードの分析
  • 5.4.1 Job Analyzerについて
    • 5.4.1.1 Job Analyzerの実行方法
  • 5.4.2 Job Analyzerをスタンドアロン・ユーティリティとして実行する
    • 5.4.2.1 Job Analyzerユーティリティの例
    • 5.4.2.2 Job Analyzerユーティリティの構文
  • 5.4.3 Perfect Balanceを使用したJob Analyzerの実行
    • 5.4.3.1 Perfect Balanceを使用したJob Analyzerの実行
    • 5.4.3.2 追加メトリックの収集
  • 5.4.4 Job Analyzerレポートの分析
• 5.5 Perfect Balanceの構成について
• 5.6 Perfect Balanceを使用したBalanced MapReduceジョブの実行
• 5.7 Perfect Balanceレポートについて
• 5.8 分割について
  • 5.8.1 分割方法の選択
  • 5.8.2 分割がアプリケーションに及ぼす影響
• 5.9 Perfect Balanceで実行されているジョブのトラブルシューティング
• 5.10 Perfect Balance APIの使用
  • 5.10.1 Perfect Balanceを使用するためのJavaコードの変更
  • 5.10.2 変更したJavaコードとPerfect Balanceの実行
• 5.11 Perfect Balanceの例について
  • 5.11.1 この章の例について
  • 5.11.2 例データ・セットの抽出
• 5.12 Perfect Balance構成プロパティ・リファレンス

第III部 Oracle Big Data SQL

6 データ・アクセスのためのOracle Big Data SQLの使用

• 6.1 Oracle Big Data SQLとは
  • 6.1.1 Oracle外部表について
  • 6.1.2 Oracle Big Data SQLのアクセス・ドライバについて
  • 6.1.3 Smart Scanテクノロジについて
  • 6.1.4 ストレージ索引について
  • 6.1.5 Oracle Big Data SQLを使用したデータ・セキュリティについて
• 6.2 Oracle Big Data SQLのインストール 2.0
  • 6.2.1 Oracle Big Data ApplianceでOracle Big Data SQLを使用するための前提条件
  • 6.2.2 インストールの実行
  • 6.2.3 Oracle Big Data SQLのインストール後スクリプトの実行
    • 6.2.3.1 bds-exa-installスクリプトの実行
    • 6.2.3.2 bds-exa-install構文
    • 6.2.3.3 bds-exa-installスクリプトの実行のトラブルシューティング
  • 6.2.4 Kerberos化されたクラスタへのOracle Big Data SQLアクセスの有効化
• 6.3 HiveデータのOracle外部表の作成
  • 6.3.1 Hive表に関する情報の取得
  • 6.3.2 CREATE_EXTDDL_FOR_HIVE関数の使用
  • 6.3.3 ORACLE_HIVEのCREATE TABLE文の作成
    • 6.3.3.1 ORACLE_HIVEのデフォルト設定の使用
    • 6.3.3.2 ORACLE_HIVEのデフォルト設定の上書き
• 6.4 Oracle NoSQL DatabaseのOracle外部表の作成
  • 6.4.1 Oracle NoSQL DatabaseのHive外部表の作成
  • 6.4.2 Oracle NoSQLデータのOracle Database表の作成
  • 6.4.3 列データ型マッピングについて
  • 6.4.4 Oracle NoSQL Databaseのデータのアクセス例
    • 6.4.4.1 Oracle NoSQL Database表の例の作成
    • 6.4.4.2 vehicleTableのHive表の例の作成
    • 6.4.4.3 VEHICLESのOracle表の作成
• 6.5 Apache HBaseのOracle外部表の作成
  • 6.5.1 HBaseのHive外部表の作成
  • 6.5.2 HBaseのOracle Database表の作成
• 6.6 HDFSファイルのOracle外部表の作成
  • 6.6.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
  • 6.6.2 ORACLE_HDFSのデフォルト設定の上書き
    • 6.6.2.1 デリミタ付きテキスト・ファイルへのアクセス
    • 6.6.2.2 Avroコンテナ・ファイルへのアクセス
• 6.7 SQL CREATE TABLE文について
  • 6.7.1 基本的な構文
  • 6.7.2 外部表の句について
    • 6.7.2.1 TYPE句
    • 6.7.2.2 DEFAULT DIRECTORY句
    • 6.7.2.3 LOCATION句
    • 6.7.2.4 ORACLE_HDFS LOCATION句
    • 6.7.2.5 ORACLE_HIVE LOCATION句
    • 6.7.2.6 REJECT LIMIT句
    • 6.7.2.7 ACCESS PARAMETERS句
• 6.8 データ型変換について
• 6.9 外部表の問合せ
  • 6.9.1 ユーザー・アクセス権の付与
  • 6.9.2 エラー処理の概要
  • 6.9.3 ログ・ファイルについて
• 6.10 Oracle Exadata Database Machine上のOracle Big Data SQLについて
  • 6.10.1 Big Data SQLエージェントの起動および停止
  • 6.10.2 共通ディレクトリについて
  • 6.10.3 一般的な構成プロパティ
    • 6.10.3.1 bigdata.properties
    • 6.10.3.2 bigdata-log4j.properties
  • 6.10.4 クラスタ・ディレクトリについて
  • 6.10.5 権限について

7 Oracle Big Data SQLリファレンス

• 7.1 DBMS_HADOOP PL/SQLパッケージ
  • 7.1.1 CREATE_EXTDDL_FOR_HIVE
    • 7.1.1.1 例
• 7.2 CREATE TABLE ACCESS PARAMETERS句
  • 7.2.1 プロパティを指定するための構文ルール
  • 7.2.2 ORACLE_HDFSアクセス・パラメータ
    • 7.2.2.1 ORACLE_HDFSのデフォルトのパラメータ設定
    • 7.2.2.2 ORACLE_HDFSのオプションのパラメータ設定
  • 7.2.3 ORACLE_HIVEアクセス・パラメータ
    • 7.2.3.1 ORACLE_HIVEのデフォルトのパラメータ設定
    • 7.2.3.2 ORACLE_HIVEのオプションのパラメータ値
  • 7.2.4 com.oracle.bigdata.colmap
  • 7.2.5 com.oracle.bigdata.datamode
  • 7.2.6 com.oracle.bigdata.erroropt
  • 7.2.7 com.oracle.bigdata.fields
  • 7.2.8 com.oracle.bigdata.fileformat
  • 7.2.9 com.oracle.bigdata.log.exec
  • 7.2.10 com.oracle.bigdata.log.qc
  • 7.2.11 com.oracle.bigdata.overflow
  • 7.2.12 com.oracle.bigdata.rowformat
  • 7.2.13 com.oracle.bigdata.tablename
• 7.3 Hiveの静的データ・ディクショナリ・ビュー
  • 7.3.1 ALL_HIVE_DATABASES
  • 7.3.2 ALL_HIVE_TABLES
  • 7.3.3 ALL_HIVE_COLUMNS
  • 7.3.4 DBA_HIVE_DATABASES
  • 7.3.5 DBA_HIVE_TABLES
  • 7.3.6 DBA_HIVE_COLUMNS
  • 7.3.7 USER_HIVE_DATABASES
  • 7.3.8 USER_HIVE_TABLES
  • 7.3.9 USER_HIVE_COLUMNS

8 HadoopへのOracle表のコピー

• 8.1 Copy to BDAとは
• 8.2 Copy to BDAの使用の概要
• 8.3 Copy to BDAのインストール
  • 8.3.1 Copy to BDAの前提条件
  • 8.3.2 Oracle Big Data ApplianceのCopy to BDAのインストール
  • 8.3.3 Oracle Exadata Database MachineのCopy to BDAのインストール
• 8.4 データ・ポンプ・ファイルの生成
  • 8.4.1 データ・ポンプ形式ファイルについて
  • 8.4.2 ターゲット・ディレクトリの識別
  • 8.4.3 CREATE TABLE構文について
  • 8.4.4 HDFSへのファイルのコピー
• 8.5 Hive表の作成
  • 8.5.1 Hive外部表について
  • 8.5.2 列マッピングの概要
  • 8.5.3 データ型変換について
• 8.6 サンプル・スキーマの使用例
  • 8.6.1 サンプル・データについて
  • 8.6.2 EXPDIR Databaseディレクトリの作成
  • 8.6.3 顧客データのデータ・ポンプ形式ファイルの作成
    • 8.6.3.1 簡単なSELECT文を使用したCREATE TABLEの例
    • 8.6.3.2 さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
  • 8.6.4 データ・ファイルの内容の確認
  • 8.6.5 Hadoopへのファイルのコピー
  • 8.6.6 Hive外部表の作成
  • 8.6.7 Hiveのデータの問合せ

第IV部 Oracle Table Access for Hadoop and Spark

9 Oracle Table Access for Hadoop and Spark (OTA4H)

• 9.1 業務系データ、ビッグ・データおよび要件
• 9.2 Oracle Table Access for Hadoop and Spark (OTA4H)の概要
  • 9.2.1 Hadoop 2.xを活用できる状況
  • 9.2.2 Hadoopデータ・ソースとしてのOracle表
  • 9.2.3 外部表
    • 9.2.3.1 TBLPROPERTIES
    • 9.2.3.2 SERDE PROPERTIES
  • 9.2.4 OTA4Hパッケージ内のjarのリスト
  • 9.2.5 Hiveでの外部表の作成
• 9.3 OTA4Hの動作方法
  • 9.3.1 新しいOracle Database表の作成
  • 9.3.2 Hive DDL
• 9.4 OTA4Hの機能
  • 9.4.1 パフォーマンスおよびスケーラビリティ機能
    • 9.4.1.1 スプリッタ
    • 9.4.1.2 スプリッタの選択
    • 9.4.1.3 述語のプッシュダウン
    • 9.4.1.4 予測のプッシュダウン
    • 9.4.1.5 パーティション・プルーニング
  • 9.4.2 スマート接続管理
  • 9.4.3 セキュリティ機能
    • 9.4.3.1 認証の改善
• 9.5 OTA4HでのHiveQLの使用方法
• 9.6 OTA4HでのSpark SQLの使用方法

用語集

索引