Oracle® Big Data Appliance ソフトウェア・ユーザーズ・ガイド

リリース2 (2.0.1)

B71709-02(原本部品番号:E36963-02)

目次

タイトルおよび著作権情報

はじめに

- 対象読者

- ドキュメントのアクセシビリティについて

- 関連ドキュメント

- 表記規則

1 Oracle Big Data Applianceの概要

- 1.1 ビッグ・データとは

- 1.1.1 多様性

- 1.1.2 高い複雑性

- 1.1.3 大量

- 1.1.4 高速度

- 1.2 Oracleのビッグ・データ・ソリューション

- 1.3 ビッグ・データ用のソフトウェア

- 1.3.1 ソフトウェア・コンポーネントの概要

- 1.4 分析用データの取得

- 1.4.1 Hadoop Distributed File System

- 1.4.2 Oracle NoSQL Database

- 1.4.3 Hive

- 1.5 ビッグ・データの体系化

- 1.5.1 MapReduce

- 1.5.2 ビッグ・データに対するRのサポート

- 1.5.3 Oracle Big Data Connectors

- 1.5.3.1 Oracle SQL Connector for Hadoop Distributed File System

- 1.5.3.2 Oracle Loader for Hadoop

- 1.5.3.3 Oracle R Connector for Hadoop

- 1.5.3.4 Oracle Data Integrator Application Adapter for Hadoop

- 1.6 ビッグ・データの分析と視覚化

2 Oracle Big Data Applianceの管理

- 2.1 Oracle Enterprise Managerを使用したクラスタの監視

- 2.2 Cloudera Managerを使用したCDH操作の管理

- 2.2.1 Oracle Big Data Applianceのステータスの監視

- 2.2.2 管理タスクの実行

- 2.2.3 Cloudera Managerを使用したサービスの管理

- 2.3 Hadoop監視ユーティリティの使用方法

- 2.3.1 JobTrackerの監視

- 2.3.2 TaskTrackerの監視

- 2.4 Hueを使用したHadoopの操作

- 2.5 CDHへのリモート・クライアント・アクセスの提供

- 2.5.1 クライアント・システムへのCDHのインストール

- 2.5.2 CDHの構成

- 2.6 ユーザー・アカウントの管理

- 2.6.1 事前定義済のユーザーおよびグループについて

- 2.6.2 HDFSユーザーの新規作成

- 2.7 削除されたファイルのリカバリ

- 2.7.1 ごみ箱からのファイルのリストア

- 2.7.2 ごみ箱を空にする間隔の変更

- 2.7.3 ごみ箱機能の無効化

- 2.7.3.1 ごみ箱機能の完全な無効化

- 2.7.3.2 ローカルのHDFSクライアントのごみ箱機能の無効化

- 2.7.3.3 リモートのHDFSクライアントのごみ箱機能の無効化

- 2.8 Oracle Big Data Applianceソフトウェアについて

- 2.8.1 ソフトウェア・コンポーネント

- 2.8.2 論理ディスク・レイアウト

- 2.9 ソフトウェア・サービスについて

- 2.9.1 CDHサービスの監視

- 2.9.2 サービスの実行場所

- 2.9.3 NameNodeの自動フェイルオーバー

- 2.9.4 未構成のソフトウェア

- 2.10 ソフトウェアの可用性に与えるハードウェアの影響

- 2.10.1 クリティカル・ノードと非クリティカル・ノード

- 2.10.2 第1NameNode

- 2.10.3 第2NameNode

- 2.10.4 JobTrackerノード

- 2.10.5 非クリティカル・ノード

- 2.11 オラクル社カスタマ・サポートに提供する診断情報の収集

- 2.12 Oracle Big Data Applianceのセキュリティ

- 2.12.1 Oracle Big Data Applianceで使用されるポート番号

- 2.12.2 Kerberosを使用したCDHのセキュリティ

- 2.12.3 Puppetのセキュリティについて

用語集

索引

Oracle® Big Data Appliance

ソフトウェア・ユーザーズ・ガイド

リリース2 (2.0.1)

B71709-02(原本部品番号:E36963-02)

2013年2月

Oracle Big Data Applianceエンドユーザー・ソフトウェアの概要および管理ツールとその手順について説明します。

Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド, リリース2 (2.0.1)

B71709-02

Copyright © 2011, 2013, Oracle and/or its affiliates.All rights reserved.

このソフトウェアおよび関連ドキュメントの使用と開示は、ライセンス契約の制約条件に従うものとし、知的財産に関する法律により保護されています。ライセンス契約で明示的に許諾されている場合もしくは法律によって認められている場合を除き、形式、手段に関係なく、いかなる部分も使用、複写、複製、翻訳、放送、修正、ライセンス供与、送信、配布、発表、実行、公開または表示することはできません。このソフトウェアのリバース・エンジニアリング、逆アセンブル、逆コンパイルは互換性のために法律によって規定されている場合を除き、禁止されています。

ここに記載された情報は予告なしに変更される場合があります。また、誤りが無いことの保証はいたしかねます。誤りを見つけた場合は、オラクル社までご連絡ください。

このソフトウェアまたは関連ドキュメントを、米国政府機関もしくは米国政府機関に代わってこのソフトウェアまたは関連ドキュメントをライセンスされた者に提供される場合は、次の通知が適用されます。

U.S. GOVERNMENT END USERS: Oracle programs, including any operating system, integrated software, any programs installed on the hardware, and/or documentation, delivered to U.S. Government end users are "commercial computer software" pursuant to the applicable Federal Acquisition Regulation and agency-specific supplemental regulations.As such, use, duplication, disclosure, modification, and adaptation of the programs, including any operating system, integrated software, any programs installed on the hardware, and/or documentation, shall be subject to license terms and license restrictions applicable to the programs.No other rights are granted to the U.S. Government.

このソフトウェアもしくはハードウェアは様々な情報管理アプリケーションでの一般的な使用のために開発されたものです。このソフトウェアもしくはハードウェアは、危険が伴うアプリケーション(人的傷害を発生させる可能性があるアプリケーションを含む)への用途を目的として開発されていません。このソフトウェアもしくはハードウェアを危険が伴うアプリケーションで使用する際、安全に使用するために、適切な安全装置、バックアップ、冗長性(redundancy)、その他の対策を講じることは使用者の責任となります。このソフトウェアもしくはハードウェアを危険が伴うアプリケーションで使用したことに起因して損害が発生しても、オラクル社およびその関連会社は一切の責任を負いかねます。

OracleおよびJavaはOracle Corporationおよびその関連企業の登録商標です。その他の名称は、それぞれの所有者の商標または登録商標です。

Intel、Intel Xeonは、Intel Corporationの商標または登録商標です。すべてのSPARCの商標はライセンスをもとに使用し、SPARC International, Inc.の商標または登録商標です。AMD、Opteron、AMDロゴ、AMD Opteronロゴは、Advanced Micro Devices, Inc.の商標または登録商標です。UNIXは、The Open Groupの登録商標です。

このソフトウェアまたはハードウェア、そしてドキュメントは、第三者のコンテンツ、製品、サービスへのアクセス、あるいはそれらに関する情報を提供することがあります。オラクル社およびその関連会社は、第三者のコンテンツ、製品、サービスに関して一切の責任を負わず、いかなる保証もいたしません。オラクル社およびその関連会社は、第三者のコンテンツ、製品、サービスへのアクセスまたは使用によって損失、費用、あるいは損害が発生しても一切の責任を負いかねます。

Cloudera、Cloudera CDHおよびCloudera Managerは、Cloudera, Incの登録商標および商標です。

はじめに

『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』では、インストールされたソフトウェアの管理方法と使用方法について説明しています。

対象読者

このガイドは、次のOracle Big Data Applianceユーザーを対象としています。

- アプリケーション開発者

- データ・アナリスト

- データ科学者

- データベース管理者

- システム管理者

『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』には、Oracle Big Data Applianceの説明に必要な用語および概念が記載されています。ただし、Hadoopクラスタの管理やMapReduceプログラムの作成方法について必要な情報は、別のソースから入手する必要があります。

ドキュメントのアクセシビリティについて

Oracleのアクセシビリティについての詳細情報は、Oracle Accessibility ProgramのWeb サイト(http://www.oracle.com/pls/topic/lookup?ctx=acc&id=docacc)を参照してください。

Oracle Supportへのアクセス

Oracleサポート・サービスでは、My Oracle Supportを通して電子支援サービスを提供しています。詳細情報は(http://www.oracle.com/pls/topic/lookup?ctx=acc&id=info) か、聴覚に障害のあるお客様は (http://www.oracle.com/pls/topic/lookup?ctx=acc&id=trs)を参照してください。

関連ドキュメント

詳細は、次のドキュメントを参照してください。

- 『Oracle Big Data Applianceオーナーズ・ガイド』

- 『Oracle Big Data Connectorsユーザーズ・ガイド』

表記規則

このマニュアルでは次の表記規則を使用します。

規則

意味

太字

太字は、操作に関連するGraphical User Interface要素、または本文中で定義されている用語および用語集に記載されている用語を示します。

イタリック体

イタリックは、ユーザーが特定の値を指定するプレースホルダ変数を示します。

固定幅フォント

固定幅フォントは、段落内のコマンド、URL、サンプル内のコード、画面に表示されるテキスト、または入力するテキストを示します。

1 Oracle Big Data Applianceの概要

この章では、Oracle Big Data Applianceの概要およびシステムにインストールされるソフトウェアについて説明します。この章の各項は、次のとおりです。

- ビッグ・データとは

- Oracleのビッグ・データ・ソリューション

- ビッグ・データ用のソフトウェア

- 分析用データの取得

- ビッグ・データの体系化

- ビッグ・データの分析と視覚化

1.1 ビッグ・データとは

トランザクション型データをビジネス・インテリジェンスのソースとして使用する方法は、何年にもわたって一般的に利用されてきました。デジタル・テクノロジとワールド・ワイド・ウェブが現代生活のあらゆる局面に浸透するにつれ、これ以外のデータ・ソースがビジネスの意思決定に大きく貢献する可能性があります。多くの企業がそのような新しいデータ・ソースを求めています。つい最近まで捨てられていた大量のデータを分析することに商機を見いだそうとしているのです。

ビッグ・データの特徴は次のとおりです。

- 多様性

- 高い複雑性

- 大量

- 高速度

これらの特徴によって、ビッグ・データから価値を生み出す上での課題と、ビッグ・データと従来のデータ・ソース(主に高度に構造化されたトランザクション型データを提供)との違いが明らかになります。

1.1.1 多様性

ビッグ・データは次のような様々なソースから取得されます。

- 機器センサー: 医療、製造、輸送などの機械センサーからの伝送

- 機械: 通話詳細レコード、Webログ、スマート・メーター読取り、グローバル・ポジショニング・システム(GPS)伝送、取引システム・レコード

- ソーシャル・メディア: Facebookなどのソーシャル・メディア・サイトやTwitterなどのブログ・サイトからのデータ・ストリーム

アナリストはこのデータのマイニングを繰り返すことで、有益な洞察を抽出する新しい方法を考案できます。現在は無関係のように見える情報でも、将来的にはビジネスに深く関係する可能性があります。

課題: このような多様性に対応できる柔軟なシステムを導入する

1.1.2 高い複雑性

データの種類が増えるにつれて、システムはますます複雑になります。データの種類が複雑になると、あまり構造化されていない性質のために、ビッグ・データの量も増加します。

課題: 幅広いデータ・タイプに適用できるソリューションを見つけること。

1.1.3 大量

ソーシャル・メディアでは、毎日TB単位のデータが生成される可能性があります。機器センサーやその他の機械では、同量のデータが1時間足らずで生成される場合があります。

たとえば顧客関係管理(CRM)システムからの顧客プロファイル、トランザクション型の統合基幹業務システム(ERP)データ、ストア・トランザクション、総勘定元帳データといった、従来のデータ・ウェアハウスのデータ・ソースでさえも、過去10年間で容量が10倍に増加しています。

課題: 拡大するシステムに拡張性と使いやすさをもたらす

1.1.4 高速度

大量のセンサー、Webログ、その他の機械などのソースは、個人がトランザクション型データベースに発注情報を入力するような従来のソースよりもきわめて高速にデータを生成し続けています。

課題: 構造化システムに負荷をかけずにデータを高速処理する

1.2 Oracleのビッグ・データ・ソリューション

Oracle Big Data Applianceは、ハードウェアとソフトウェアのコンポーネントを組み合せたエンジアド・システムです。ハードウェアはビッグ・データ用ソフトウェア・コンポーネントの拡張機能を実行するために最適化されています。

Oracle Big Data Applianceでは、次のことを実現します。

- ビッグ・データ用に最適化された完全なソリューション

- ハードウェアとソフトウェアを1つのベンダーでサポート

- デプロイが容易なソリューション

- Oracle DatabaseおよびOracle Exadata Database Machineとの緊密な連携

Oracleでは、様々なデータ・ソースから企業内に流入する膨大で複雑なデータ・ストリームの取得、体系化および深い分析のサポートを可能にする、ビッグ・データ用プラットフォームを提供しています。データ構造、ワークロードの特性、およびエンドユーザー要件に基づいて、最適なストレージ・ロケーションと処理ロケーションを選択できます。

Oracle Databaseによって、大規模なユーザー・コミュニティは同じ方法を使用して、すべてのデータにアクセスし分析することが可能です。Oracle Databaseの前にOracle Big Data Applianceを追加することで、既存のデータ・ウェアハウスに新しい情報ソースを提供できます。Oracle Big Data Applianceは、真のビジネス価値を持つ関連情報をOracle Databaseで分析できるように、ビッグ・データを取得および体系化するためのプラットフォームです。

高速度と効率性を最大化するため、Oracle Big Data Applianceは、Oracle Databaseを実行しているOracle Exadata Database Machineに接続できます。Oracle Exadata Database Machineは、データ・ウェアハウスのホスティングやデータベースのトランザクション処理に卓越したパフォーマンスを発揮します。さらに、Oracle Exalytics In-Memory Machineに接続して、ビジネス・インテリジェンスおよびビジネス・プランニング・アプリケーションに最適なパフォーマンスを実現できます。このようなエンジニアド・システム間の接続はインフィニバンドを経由しているため高度に並列化され、バッチや問合せワークロードの高速データ転送が可能です。

図1-1は、このようなエンジニアド・システム間の関係を示しています。

図1-1 ビッグ・データ用Oracleエンジニアド・システム

「図1-1 ビッグ・データ用Oracleエンジニアド・システム」

1.3 ビッグ・データ用のソフトウェア

Oracle Linuxオペレーティング・システムおよびCloudera's Distribution including Apache Hadoop (CDH)は、Oracle Big Data Applianceにインストールされたその他すべてのソフトウェア・コンポーネントの基礎となります。CDHは、連携して機能するようにテストおよびパッケージ化された各種コンポーネントの包括的なスタックです。

CDHはバッチ処理インフラストラクチャを備え、ファイルの格納と複数のコンピュータにまたがったワークロードの分散が可能です。データは格納されているコンピュータ上で処理されます。Oracle Big Data Applianceの単一ラック環境では、CDHによって、クラスタを構成している18台のサーバー全体にファイルとワークロードが分散されます。各サーバーはクラスタ内のノードです。

ソフトウェア・フレームワークは次の主要コンポーネントで構成されます。

- ファイル・システム: Hadoop Distributed File System (HDFS)は、サイズの大きいファイルを複数のサーバーにまたがって格納する、拡張性に優れたファイル・システムです。RAIDテクノロジを使用せずに、複数のサーバー間でデータをレプリケートすることにより、信頼性を実現します。Oracle Big Data Appliance上のLinuxファイル・システムの最上位で実行されます。

- MapReduceエンジン: MapReduceエンジンは、Javaで記述されたアルゴリズムの大規模な並列実行に対応したプラットフォームを提供します。

- 管理フレームワーク: Cloudera Managerは、CDHのための包括的な管理ツールです。

CDHはJavaで記述され、Javaはアプリケーション開発言語です。ただし、一部のCDHユーティリティやOracle Big Data Applianceで使用可能なその他のソフトウェアは、使いやすいように、別の言語を使用したWebベースのグラフィカル・インタフェースを備えています。

1.3.1 ソフトウェア・コンポーネントの概要

主要ソフトウェア・コンポーネントは、次に示す3つの基本タスクを実行します。

- 取得

- 体系化

- 分析と視覚化

それぞれのタスクに最適なツールは、情報の密度と構造化の程度によって異なります。図1-2は、ツール間の関係とそれぞれが実行するタスクを示しています。

図1-2 Oracle Big Data Applianceソフトウェアの概要

「図1-2 Oracle Big Data Applianceソフトウェアの概要」

1.4 分析用データの取得

Oracle Big Data Applianceは、ビッグ・データを取得および格納するための次の機能を備えています。

- Hadoop Distributed File System (HDFS)

- Oracle NoSQL Database

- Hive

オンライン・トランザクション処理(OLTP)に使用されているデータベースは、従来のデータ・ウェアハウスのデータ・ソースです。Oracleのソリューションでは、同じOracleデータ・ウェアハウス内で従来のデータ・ストアとビッグ・データの分析が可能です。リレーショナル・データは、Oracle Big Data Applianceとは別のハードウェア上で実行されていても、ビジネス・インテリジェンスの重要なソースであることにかわりありません。

1.4.1 Hadoop Distributed File System

Oracle Big Data Appliance上のCloudera's Distribution including Apache Hadoop (CDH)では、Hadoop Distributed File System (HDFS)を使用します。HDFSは、レコード指向データを含む非常に大きなファイルを格納します。Oracle Big Data Appliance上で、大きなデータ・ファイルを256メガバイト(MB)のチャンクに分割し、各チャンクをクラスタ内の3つの異なるノードにレプリケートします。チャンクのサイズとレプリケーション数は構成可能です。

チャンク化により、HDFSでは、1つのサーバーの物理ストレージよりも大きなファイルを格納できるようになります。また、複数のコンピュータを使用し、マルチ・プロセッサでデータを並列処理(それぞれがローカルに格納されているデータを処理)することも可能です。レプリケーションにより、1台のサーバーに障害が発生しても、別のサーバーがそのワークロードを自動的に引き継ぐので、データの高可用性が実現します。

HDFSは通常、あらゆるタイプのビッグ・データの格納に使用されます。

関連項目:

- Hadoopテクノロジの概念的な情報は、サードパーティの次の文献を参照してください。
『Hadoop: The Definitive Guide, Third Edition』Tom White著(O'Reilly Media Inc., 2012., ISBN: 978-1449311520)

- Cloudera's Distribution including Apache Hadoopのドキュメントの詳細は、次のClouderaライブラリを参照してください。
http://oracle.cloudera.com/

1.4.2 Oracle NoSQL Database

Oracle NoSQL Databaseは、実績が証明されているストレージ・テクノロジBerkeley DB Java Editionに基づく分散キー/値データベースです。HDFSが非構造化データの非常に大きなファイルを格納するのに対して、Oracle NoSQL Databaseでは、データの索引付けとトランザクションをサポートします。ただし、高度に構造化されたデータを格納するOracle Databaseとは異なり、Oracle NoSQL Databaseは、特にストレージ・ノード全体にわたって、一貫性のルールも緩やかで、スキーマ構造はなく、結合に対してごく限られたサポートしかしていません。

NoSQLデータベース(Not Only SQLデータベース)は、過去10年間にわたりビッグ・データの格納に特化して開発されてきました。ただし、実装方法は様々です。Oracle NoSQL Databaseには、次の特徴があります。

- システム定義で一貫性のあるハッシュ索引を使用したデータ分散

- レプリケーションによる高可用性のサポート

- 緩やかな一貫性保証による単一レコード、単一操作のトランザクションの実現

- Java APIを搭載

Oracle NoSQL Databaseは、信頼性、拡張性、予測可能性および可用性に優れたデータ格納を実現するように設計されています。キー/値のペアは、主キーに基づき、断片またはパーティション(データのサブセットのこと)に格納されます。各断片上のデータを複数のストレージ・ノードにレプリケートすることで高可用性を確保します。Oracle NoSQL Databaseは、一般にはキー検索によるデータの高速問合せをサポートします。

インテリジェント・ドライバによってNoSQLデータベースとクライアント・アプリケーションが接続され、ストレージ・ノード上の要求されたキー/値に最小の待機時間でアクセスできるようになります。

Oracle NoSQL Databaseは、適切なデータ分散と最適なロード・バランシングを実現するハッシング・アルゴリズムとバランシング・アルゴリズム、ストレージ・ノードの障害とリカバリを処理するレプリケーション管理コンポーネント、およびデータベースの状態を監視する使いやすい管理インタフェースを備えています。

Oracle NoSQL Databaseは通常、ビッグ・データの識別と分析のための、顧客プロファイルや類似するデータの格納に使用されます。たとえば、Webサイトにログインすると、格納されている顧客プロファイル(Oracle NoSQL Databaseのレコード)と最近のサイト上でのアクティビティ(現在HDFSにストリーミングされているWebログ)に基づいて広告が表示されるような場合に使用されます。

Oracle NoSQL Databaseは、Oracle Big Data Applianceのオプションのコンポーネントです。必ずインストールされますが、ソフトウェアのインストール時にはアクティブ化されない可能性があります。

関連項目:

- 次のサイトでOracle NoSQL Databaseスタート・ガイドを参照してください
http://docs.oracle.com/cd/NOSQL/html/index.html

- Oracle Big Data Applianceライセンス情報

1.4.3 Hive

Hiveはオープンソース・データ・ウェアハウスで、HDFS内に格納されているデータのデータ要約、アドホック問合せおよびデータ分析をサポートします。HiveQLと呼ばれるSQLライクな言語を使用します。インタプリタによって、HiveQL問合せからMapReduceコードが生成されます。Hiveにデータを格納することにより、MapReduceプログラムをJavaで記述しないですみます。

HiveはCDHのコンポーネントで、常にOracle Big Data Applianceにインストールされます。Oracle Big Data Connectorsの多くは、Hive表にアクセスできます。

1.5 ビッグ・データの体系化

Oracle Big Data Applianceは、次のような、ビッグ・データを分析用に体系化、変換およびリデュースする方法を備えています。

- MapReduce

- ビッグ・データに対するRのサポート

- Oracle Big Data Connectors

1.5.1 MapReduce

MapReduceエンジンは、Javaで記述されたアルゴリズムの大規模な並列実行に対応したプラットフォームを提供します。MapReduceは、並列プログラミング・モデルを使用して、分散システムのデータ処理を行います。大量のデータを迅速に処理し、線形的に拡張できます。非構造化および半構造化データのバッチ処理メカニズムとして特に有効です。MapReduceは、低レベルの操作を一連のキーと値の計算に抽象化します。

ビッグ・データは通常、非構造化と説明されていますが、入力データは常になんらかの構造を持っています。ただし、HDFSに書き込まれるときは、固定の事前定義された構造は持っていません。かわりに、MapReduceでは、特定のジョブのデータを読み込む際に、必要な構造を作成します。同じデータでも、MapReduceのジョブが異なれば、様々な構造を持っている可能性があります。

MapReduceジョブを簡単に説明すると、2つのフェーズ(MapフェーズとReduceフェーズ)の交互の繰返しといえます。各Mapフェーズでは、入力データのレコードごとに変換関数を適用し、キー/値のペアで表された一連のレコードが生成されます。Mapフェーズからの出力がReduceフェーズへの入力になります。Reduceフェーズでは、Mapの出力レコードがキー/値のセットにソートされ、1つのセット内ではすべてのレコードが同じキー値を持ちます。リデューサ関数がセット内の全レコードに適用され、キー/値のペアからなる一連の出力レコードが生成されます。Mapフェーズがレコードごとに論理的に並列実行されるのに対して、Reduceフェーズはすべてのキー値にわたって並列実行されます。

注意:
Oracle Big Data Applianceは、MapReduceのYet Another Resource Negotiator (YARN)実装をサポートしていません。

1.5.2 ビッグ・データに対するRのサポート

Rとは、統計分析とグラフ作成に対応した、オープンソースの言語および環境です。線形および非線形モデリング、標準的な統計方法、時系列分析、分類、クラスタ化およびグラフィック・データの表示に対応しています。Comprehensive R Archive Network (CRAN)では、バイオインフォマティクス、空間統計学、財務分析、市場分析など、一連のアプリケーションのオープンソース・パッケージを多数提供しています。Rは、その機能が高額な商用の統計パッケージと肩を並べるまでに成熟するにつれて、注目度が高まっています。

アナリストは通常PC上でRを使用しますが、PCによって分析に使用できるデータの量と処理能力が制限されます。Oracle Big Data Applianceを直接利用するようRプラットフォームを拡張することで、この制限はなくなります。アナリストは、大規模な並列処理を使用してHDFSに格納されている大量のデータを操作できると同時に、引き続き使い慣れたRユーザー・インタフェースを使用してPC上で作業を行えます。

標準のRディストリビューションは、Oracle Big Data Applianceのすべてのノードにインストールされるので、Rプログラムは大量のデータに対してMapReduceジョブとして実行できます。ユーザーは既存のRスクリプトとパッケージをコンピュータから転送して、Oracle Big Data Appliance上で使用できます。

Oracle R Connector for Hadoopを使用すると、RユーザーはHDFSとMapReduceプログラミング・フレームワークに、優れたパフォーマンスでネイティブにアクセスできます。Oracle R Connector for HadoopはOracle Big Data Connectorsに付属しています。詳細は、「Oracle R Connector for Hadoop」を参照してください。

Oracle R Enterpriseは個別のパッケージで、Oracle Databaseへのリアルタイム・アクセスを提供します。これを使用すると、ビッグ・データの分析結果をOracleデータベースに格納し、詳細に分析することができます。

この2つのOracle Rパッケージによって、統計のユーザーは、Oracle DatabaseやHadoopのネイティブ・プログラミング言語を習得することなく、これらの計算インフラストラクチャを使用できます。

関連項目:

- Rの詳細は、次のサイトを参照してください。
http://www.r-project.org/

- Oracle R Enterpriseの詳細は、次のサイトを参照してください。
http://docs.oracle.com/cd/E27988_01/welcome.html

1.5.3 Oracle Big Data Connectors

Oracle Big Data Connectorsを使用すると、CDHとOracle Databaseに格納されているデータ間のデータ・アクセスが簡単になります。コネクタはOracle Big Data Applianceとは別にライセンス供与され、次のものが含まれます。

- Oracle SQL Connector for Hadoop Distributed File System

- Oracle Loader for Hadoop

- Oracle R Connector for Hadoop

- Oracle Data Integrator Application Adapter for Hadoop

関連項目:
『Oracle Big Data Connectorsユーザーズ・ガイド』

1.5.3.1 Oracle SQL Connector for Hadoop Distributed File System

Oracle SQL Connector for Hadoop Distributed File System (Oracle SQL Connector for HDFS)は、外部表を使用してOracleデータベースからHDFSへの読取りアクセスを提供します。

外部表は、データベース外のデータの場所を識別するOracle Databaseオブジェクトです。Oracle Databaseは、外部表の作成時に指定されたメタデータを使用してデータにアクセスします。外部表への問合せによって、ユーザーは、データがデータベースの表に格納されている場合と同様に、HDFSに格納されているデータにアクセスできます。外部表は、データベースのロード時にデータをステージングして変換するために使用されることが多くあります。

Oracle SQL Connector for HDFSを使用すると、次のことができます。

- HDFSファイルに格納されているデータへのアクセス

- Hive表へのアクセス

- Oracle Loader for Hadoopによって生成されたカンマ区切り(CSV)ファイルへのアクセス

- Oracle Data Integratorによって抽出および変換されたデータのロード

1.5.3.2 Oracle Loader for Hadoop

Oracle Loader for Hadoopは、CDHからOracleデータベースの表へデータを高速に移動するための効率的でパフォーマンスのよいローダーです。Oracle Loader for Hadoopはデータをパーティション化し、CDH上でデータベースに対応した形式に変換します。必要に応じて、データのロードや出力ファイルの作成の前に主キーでレコードをソートします。

Oracle Loader for Hadoopは、Javaプログラムまたはコマンドライン・ユーティリティとして使用できます。ロードは、CDHクラスタ上でMapReduceジョブとして実行されます。

Oracle Loader for Hadoopは、Oracle Data Pumpファイルの読取り/書込みも行います。

1.5.3.3 Oracle R Connector for Hadoop

Oracle R Connector for HadoopはRパッケージのコレクションであり、次の機能を提供します。

- HIVE表、Apache Hadoopの計算インフラストラクチャ、ローカルR環境およびデータベース表を操作するインタフェース

- Hadoop MapReduceジョブとしてRまたはJavaで記述された予測分析手法(HDFSファイルのデータに適用可能)

単純なR関数を使用して、Rメモリー、ローカル・ファイル・システム、HDFS、Hive間でデータをコピーできます。Hadoop MapReduceジョブとして実行し、それらの場所に結果を返すよう、Rプログラムをスケジュールできます。

1.5.3.4 Oracle Data Integrator Application Adapter for Hadoop

Oracle Data Integrator (ODI)は、様々なソースからOracle Databaseにデータを抽出、変換およびロードします。

ODIでは、ナレッジ・モジュール(KM)は、データ統合処理における特定のタスク専用のコード・テンプレートです。Oracle Data Integrator Studioを使用すると、特定のアプリケーション用にKMをロード、選択および構成できます。使用可能なKM数は150を超え、様々なサードパーティ製データベースやその他のデータ・リポジトリからデータを取得できます。ユーザーは、特定のジョブに対してKMをいくつかロードするだけですみます。

Oracle Data Integrator Application Adapter for Hadoopには、ビッグ・データ専用のKMが含まれています。

1.6 ビッグ・データの分析と視覚化

ビッグ・データの変換とOracle Databaseへのロードが終了したら、Oracleのビジネス・インテリジェンス・ソリューションと意思決定を支援する製品を駆使して、すべてのデータの詳細な分析と視覚化を行うことができます。

関連項目:

- 次のOracle Business IntelligenceのWebサイトを参照してください
http://www.oracle.com/us/solutions/ent-performance-bi/business-intelligence/index.html

- 次のOracle Databaseドキュメント・ライブラリのData WarehousingおよびBusiness Intelligenceに関するドキュメントを参照してください
http://www.oracle.com/pls/db112/portal.portal_db?selected=6&frame=

2 Oracle Big Data Applianceの管理

この章では、Oracle Big Data Applianceにインストールされるソフトウェアおよびサービスについて説明します。次の項について説明します。

- Oracle Enterprise Managerを使用したクラスタの監視

- Cloudera Managerを使用したCDH操作の管理

- Hadoop監視ユーティリティの使用方法

- Hueを使用したHadoopの操作

- CDHへのリモート・クライアント・アクセスの提供

- ユーザー・アカウントの管理

- 削除されたファイルのリカバリ

- Oracle Big Data Applianceソフトウェアについて

- ソフトウェア・サービスについて

- ソフトウェアの可用性に与えるハードウェアの影響

- オラクル社カスタマ・サポートに提供する診断情報の収集

- Oracle Big Data Applianceのセキュリティ

2.1 Oracle Enterprise Managerを使用したクラスタの監視

Oracle Enterprise Managerプラグインでは、Oracle Exadata Database Machineや他のOracle Databaseインストールに使用するのと同じシステム監視ツールをOracle Big Data Applianceに使用できます。プラグインを使用して、インストールされたソフトウェア・コンポーネントのステータスを表や図式を使用した形式で表示したり、これらのソフトウェア・サービスの起動や停止を行えます。ネットワークおよびラック・コンポーネントの状態を監視することもできます。

ターゲット・クラスタを選択したら、次の主な分野にドリルダウンできます。

- インフィニバンド・ネットワーク: インフィニバンド・スイッチとポートのネットワーク・トポロジとステータス。図2-1を参照してください。

- Hadoopクラスタ: HDFS、MapReduceおよびZooKeeperのソフトウェア・サービス。

- Oracle Big Data Applianceラック: サーバー・ホスト、Oracle Integrated Lights Out Manager (Oracle ILOM)サーバー、配電ユニット(PDU)、イーサネット・スイッチなどのハードウェア・ステータス。

図2-1に、インフィニバンド・スイッチについて表示された情報の一部を示します。

図2-1 Oracle Enterprise Managerのインフィニバンド・ホーム

「図2-1 Oracle Enterprise Managerのインフィニバンド・ホーム」の説明

Oracle Enterprise Managerを使用してOracle Big Data Applianceを監視するには、次の手順を実行します。

1. プラグインをダウンロードしてインストールします。『Oracle Enterprise Manager System Monitoring Plug-inインストレーション・ガイドfor Oracle Big Data Appliance』を参照してください。

2. 管理ユーザーとしてOracle Enterprise Managerにログインします。

3. 「ターゲット」メニューから「ビッグ・データ・アプライアンス」を選択し、ビッグ・データ・ページを表示します。Oracle Enterprise Managerによって検出済のターゲットの全体的なステータスが表示されます。

4. 詳細ページを表示するターゲット・クラスタを選択します。

5. ターゲット・ナビゲーション・ツリーを展開し、コンポーネントを表示します。すべてのレベルで情報を使用可能です。

6. ツリーでコンポーネントを選択し、ホーム・ページを表示します。

7. 表示を変更するには、メイン表示領域の左上部にあるドロップダウン・メニューから項目を選択します。

関連項目:
インストール手順と使用例については、『Oracle Enterprise Manager System Monitoring Plug-inインストレーション・ガイドfor Oracle Big Data Appliance』を参照してください。

2.2 Cloudera Managerを使用したCDH操作の管理

Oracle Big Data ApplianceにインストールされるCloudera Managerは、Cloudera's Distribution including Apache Hadoop (CDH)の操作に役立ちます。Cloudera Managerは、Hadoopクラスタの一部として構成されたすべてのOracle Big Data Applianceサーバーを対象とする単一の管理インタフェースを備えています。

Cloudera Managerを使用すると、次の管理タスクを簡単に行うことができます。

- ジョブおよびサービスの監視

- サービスの開始および停止

- セキュリティ資格証明とKerberos資格証明の管理

- ユーザー・アクティビティの監視

- システムの状態の監視

- パフォーマンス・メトリックの監視

- ハードウェアの使用状況の追跡(ディスク、CPU、RAM)

Cloudera Managerは、プライマリ・ラックのJobTrackerノード(node03)上で動作し、ポート7180上で使用できます。

Cloudera Managerを使用するには、次の手順を実行します。

1. ブラウザを開き、次のようにURLを入力します。

http://bda1node03.example.com:7180

この例で、bda1はアプライアンス名、node03はサーバー名、example.comはドメイン、7180はデフォルトのポート番号(それぞれCloudera Managerで使用)を示します。

2. Cloudera Managerのユーザー名とパスワードでログインします。設定を変更できるのは、管理者権限を持つユーザーのみです。その他のCloudera Managerユーザーは、Oracle Big Data Applianceのステータスを表示できます。

関連項目:
次のサイトで『Cloudera Manager User Guide』を参照してください
http://ccp.cloudera.com/display/ENT/Cloudera+Manager+User+Guide

または、Cloudera Managerの「Help」メニューで、「Help」をクリックしてください

2.2.1 Oracle Big Data Applianceのステータスの監視

Cloudera Managerでは、画面上部のメニュー・バーから、次に示す任意のページを選択できます。

- Services: Oracle Big Data Appliance上で実行されているサービスのステータスと状態を監視します。サービス名をクリックすると、詳細情報にドリル・ダウンされます。

- Hosts: すべてのサーバーの状態、ディスク使用量、負荷、物理メモリー、スワップ領域などの統計情報を監視します。

- Activities: 指定期間に実行されているすべてのMapReduceジョブを監視します。

- Logs: システムおよびサービスの履歴情報を収集します。選択したサーバー、サービス、および期間を対象に、特定の句を検索できます。また、ログ・メッセージの最小重大度(TRACE、DEBUG、INFO、WARN、ERRORまたはFATAL)を選択して、検索に含めることもできます。

- Events: 状態の変化やその他の注意すべきイベントの発生を記録します。選択したサーバー、サービス、および期間を対象に、1つ以上のキーワードを検索できます。また、イベント・タイプ(Audit Event、Activity Event、Health CheckまたはLog Message)を選択することもできます。

- Reports: ディスクおよびMapReduceの使用状況に関するレポートをオンデマンドで生成します。

図2-2は、Cloudera Managerのオープニング画面(「Services」ページ)を示しています。

図2-2 Cloudera Managerの「Services」ページ

「図2-2 Cloudera Managerの「Services」ページ」の説明

2.2.2 管理タスクの実行

Cloudera Manager管理者は、Oracle Big Data Applianceの状態や使用状況を監視するための様々なプロパティの変更、ユーザーの追加、およびKerberosセキュリティの設定を行うことができます。

Cloudera Manager Administrationにアクセスするには、次の手順を実行します。

1. 管理者権限でCloudera Managerにログインします。

2. ページ右上にある「Welcome admin」をクリックします。

2.2.3 Cloudera Managerを使用したサービスの管理

Cloudera Managerは次のサービスを管理するインタフェースを備えています。

- HDFS

- Hue

- MapReduce

- Oozie

- ZooKeeper

Cloudera Managerを使用すると、これらのサービスの設定変更、停止および再開を行うことができます。

注意:
Linuxサービス・スクリプトやHadoop構成ファイルを手動で編集しても、これらのサービスには何の効果もありません。これらを管理および構成するには、Cloudera Managerを使用する必要があります。

2.3 Hadoop監視ユーティリティの使用方法

MapReduceジョブを監視するために、Cloudera Managerのユーザー名とパスワードは必要ありません。

2.3.1 JobTrackerの監視

Hadoop Map/Reduce Administrationでは、Oracle Big Data ApplianceのJobTrackerノード(node03)のポート50030で実行されるJobTrackerを監視します。

JobTrackerを監視するには、次の手順を実行します。

- ブラウザを開き、次のようにURLを入力します。

http://bda1node03.example.com:50030

この例で、bda1はアプライアンス名、node03はサーバー名、50030はデフォルトのポート番号(それぞれHadoop Map/Reduce Administrationで使用)を示します。

図2-3は、「Hadoop Map/Reduce Administration」画面の一部を示しています。

図2-3 Hadoop Map/Reduce Administration

「図2-3 Hadoop Map/Reduce Administration」の説明

2.3.2 TaskTrackerの監視

Task Tracker Statusインタフェースでは、単一ノード上のTaskTrackerを監視します。Oracle Big Data Appliance内にあるすべての非クリティカル・ノード(node04からnode18)のポート50060上で使用できます。

TaskTrackerを監視するには、次の手順を実行します。

- ブラウザを開き、次のように特定のノードのURLを入力します。

http://bda1node13.example.com:50060

この例で、bda1はラック名、node13はサーバー名、50060はデフォルトのポート番号(それぞれTask Tracker Statusインタフェースで使用)を示します。

図2-4は、Task Tracker Statusインタフェースを示しています。

図2-4 Task Tracker Statusインタフェース

「図2-4 Task Tracker Statusインタフェース」の説明

2.4 Hueを使用したHadoopの操作

Hueはブラウザで動作し、複数のアプリケーションに使いやすいインタフェースを提供して、HadoopとHDFSの操作をサポートします。Hueを使用すると、次のタスクを実行できます。

- Hiveデータ・ストアの問合せ

- Hive表の作成、ロードおよび削除

- HDFSファイルおよびディレクトリの操作

- MapReduceジョブの作成、発行および監視

- MapReduceジョブの監視

- Oozieダッシュボードを使用したワークフローの作成、編集および発行

- ユーザーおよびグループの管理

HueはJobTrackerノード(node03)のポート8888上で動作します。

Hueを使用するには、次の手順を実行します。

1. この例で示したようなアドレスを使用し、ブラウザでHueを開きます。
http://bda1node03.example.com:8888

この例で、bda1はクラスタ名、node03はサーバー名、example.comはドメインをそれぞれ示します。

2. Hue資格証明を使用してログインします。
Oracle Big Data Applianceは、初期設定では特定のHueユーザー・アカウントを使用するよう構成されていません。Hueに最初に接続するユーザーは、任意のユーザー名とパスワードでログインでき、自動的に管理者になります。このユーザーは、他のユーザーと管理者アカウントを作成できます。

3. 上部のアイコンを使用して、ユーティリティを開きます。

図2-5は、Hive問合せを入力するためのBeeswax Query Editorを示しています。

図2-5 Beeswax Query Editor

「図2-5 Beeswax Query Editor」の説明

関連項目:
Oracle Big Data Applianceにすでにインストールおよび構成されているHueの使用方法の詳細は、次のサイトで『Hue Installation Guide』を参照してください
http://cloudera.github.com/hue/docs-2.1.0/manual.html

2.5 CDHへのリモート・クライアント・アクセスの提供

Oracle Big Data Applianceでは、Cloudera's Distribution including Apache Hadoop (CDH)のすべてのコマンドおよびユーティリティに対する完全なローカル・アクセスをサポートしています。

Oracle Big Data Applianceのクライアント・ネットワークにアクセスできる任意のコンピュータ上でブラウザを使用すれば、Cloudera Manager、Hadoop Map/Reduce Administration、Hadoop Task TrackerインタフェースなどのブラウザベースのHadoopツールにアクセスできます。

ただし、リモートでHadoopコマンドを発行するには、CDHクライアントとして構成され、Oracle Big Data Applianceクライアント・ネットワークへのアクセス権を持つシステムから接続する必要があります。この項では、HDFSにアクセスしてOracle Big Data Appliance上でMapReduceジョブを発行できるよう、コンピュータを設定する方法について説明します。

この手順を実行するには、次のアクセス権限が付与されている必要があります。

- クライアント・システムへのrootアクセス権

- Cloudera Managerへのログイン・アクセス権

これらのアクセス権限がない場合は、社内のシステム管理者にお問い合せください。

関連項目:
My Oracle Support ID 1506203.1

2.5.1 クライアント・システムへのCDHのインストール

Oracle Big Data Applianceへのアクセスに使用するシステムでは、ClouderaがCDH4用にサポートしているオペレーティング・システムが実行されている必要があります。サポート対象のオペレーティング・システムの詳細は、次のサイトで『Cloudera CDH4 Installation Guide』の「Before You Install CDH4 on a Cluster」を参照してください

http://ccp.cloudera.com/display/CDH4DOC/Before+You+Install+CDH4+on+a+Cluster

CDHクライアント・ソフトウェアをインストールするには、次の手順を実行します。

1. 『Cloudera CDH4 Installation Guide』(次のサイトを参照)で説明しているオペレーティング・システムのインストール手順を実行します。
http://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation+Guide

Hadoopコアとネイティブ・パッケージのインストールが完了したら、システムは基本のCDHクライアントとして機能できます。

注意:
必ずCDH4 Update 1 (CDH4u1)以降のバージョンをインストールしてください。

2. その他のコンポーネント(Hive、Pig、Oozieなど)をサポートするには、コンポーネントのインストール手順を参照してください。

2.5.2 CDHの構成

CDHをインストールしたら、Oracle Big Data Applianceを操作できるように構成する必要があります。

Hadoopクライアントを構成するには、次の手順を実行します。

1. クライアント・システム上でブラウザを開き、Cloudera Managerに接続します。この例で示すように、JobTrackerノード(node03)上で動作し、ポート7180上でリスニングします。

http://bda1node03.example.com:7180

2. adminとしてログインします。

3. Cloudera Managerが開き、「Services」タブが表示されます。「Client Configuration URLs」ボタンをクリックします。

4. ポップアップ・ウィンドウで、mapreduce1のURL (/cmf/services/2/client-config)をクリックし、mapreduce1-clientconfig.zipをダウンロードします。
次の図は、クライアント構成のダウンロード・ページを示しています。

図generate_client.pngの説明

5. mapreduce1-clientconfig.zipをクライアント・システム上の常設の場所に解凍します。

$ unzip mapreduce-clientconfig.zip
Archive:  mapreduce-clientconfig.zip
inflating: hadoop-conf/hadoop-env.sh
inflating: hadoop-conf/core-site.xml
inflating: hadoop-conf/hdfs-site.xml
inflating: hadoop-conf/log4j.properties
inflating: hadoop-conf/mapred-site.xml

すべてのファイルは、hadoop-configという名前のサブディレクトリに格納されます。

6. テキスト・エディタでhadoop-env.shを開き、システムの正確な場所を示すようにJAVA_HOMEを変更します。

export JAVA_HOME=full_directory_path

7. シャープ記号(#)を削除し、行のコメント化を解除して、ファイルを保存します。

8. 次のいずれかを行います。

- ステップ5でダウンロードした構成ファイルで既存の構成ファイルを上書きします。

# cd /full_path/hadoop-conf
# cp * /usr/lib/hadoop/conf

- 使用するシェルに適した構文を使って、HADOOP_CONF_DIR環境変数を新しいhadoop-configディレクトリに設定します。たとえば、次のコマンドはBashシェルに対するものです。

$ export HADOOP_CONF_DIR="/full_path/hadoop-conf"

注意:
この設定を環境に適した起動ファイル(.bashrc、.cshrcなど)に必ず追加してください。

9. 次のような簡単なHadoopファイル・システム・コマンドを入力して、クライアントからOracle Big Data ApplianceのHDFSにアクセスできることを確認します。

$ hadoop fs -ls /user
Found 4 items
drwx------   - hdfs     supergroup          0 2013-01-16 13:50 /user/hdfs
drwxr-xr-x   - hive     supergroup          0 2013-01-16 12:58 /user/hive
drwxr-xr-x   - oozie    hadoop              0 2013-01-16 13:01 /user/oozie
drwxr-xr-x   - oracle   hadoop              0 2013-01-29 12:50 /user/oracle

クライアント・システムではなく、Oracle Big Data Applianceで定義されているHDFSユーザーに対する出力を確認します。

10. MapReduceジョブを発行して、インストールを検証します。Oracle Big Data Appliance上のHDFSユーザー名と同じユーザー名でホスト・コンピュータにログインする必要があります。
次の例では、piの値を算出します。

$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.1.2.jar pi 10 1000000
Number of Maps  = 10
Samples per Map = 1000000
Wrote input for Map #0
Wrote input for Map #1
.
.
.
Job Finished in 17.981 seconds
Estimated value of Pi is 3.14158440000000000000

11. Cloudera Managerを使用して、ローカル・システムではなくOracle Big Data Applianceでジョブが実行されたことを確認します。「Activities」メニューから「mapreduce」を選択してジョブのリストを表示します。

図2-6に、前述の例で作成されたジョブを示します。

図2-6 Cloudera ManagerでのMapReduceジョブの監視

「図2-6 Cloudera ManagerでのMapReduceジョブの監視」の説明

2.6 ユーザー・アカウントの管理

この項では、ソフトウェア用に作成されるユーザーおよび追加のユーザーを作成する方法について説明します。内容は次のとおりです。

- 事前定義済のユーザーおよびグループについて

- HDFSユーザーの新規作成

2.6.1 事前定義済のユーザーおよびグループについて

Oracle Big Data Applianceにインストールされるオープンソース・パッケージごとに、1つ以上のユーザーおよびグループが作成されます。このようなユーザーのほとんどは、ログイン権限、シェル、またはホーム・ディレクトリを持っていません。これらはデーモンによって使用され、各ユーザー向けのインタフェースとしては設計されていません。たとえば、Hadoopはhdfsユーザーとして、MapReduceはmapredとして、Hiveはhiveとしてそれぞれ動作します。

Oracle Big Data Applianceソフトウェアのインストール直後にHadoopおよびHiveジョブを実行するには、oracle IDを使用できます。このユーザー・アカウントは、ログイン権限、シェル、およびホーム・ディレクトリを保持しています。

Oracle NoSQL DatabaseおよびOracle Data Integratorはoracleユーザーとして実行します。プライマリ・グループはoinstallです。

注意:
インストール時に作成されたユーザーは、ソフトウェアの操作に必要なため、削除や変更はしないでください。

表2-1に、Oracle Big Data Applianceソフトウェアのインストール時に自動的に作成され、CDHコンポーネントおよびその他のソフトウェア・パッケージによって使用されるオペレーティング・システム・ユーザーおよびグループを示します。

表2-1 オペレーティング・システム・ユーザーおよびグループ

ユーザー名

グループ

使用者

ログイン権限

flume

flume

Flume親およびノード

なし

hbase

hbase

HBaseプロセス

なし

hdfs

hadoop

NameNode、DataNode

なし

hive

hive

Hiveメタストアおよびサーバー・プロセス

なし

hue

hue

Hueプロセス

なし

mapred

hadoop

JobTracker、TaskTracker、Hive Thriftデーモン

あり

mysql

mysql

MySQLサーバー

あり

oozie

oozie

Oozieサーバー

なし

oracle

dba、oinstall

Oracle NoSQL Database、Oracle Loader for Hadoop、Oracle Data IntegratorおよびOracle DBA

あり

puppet

puppet

Puppet親(rootとして実行されるpuppetノード)

なし

sqoop

sqoop

Sqoopメタストア

なし

svctag

Auto Service Request

なし

zookeeper

zookeeper

ZooKeeperプロセス

なし

2.6.2 HDFSユーザーの新規作成

追加のユーザー・アカウントを作成する場合は、次のように定義してください。

- MapReduceジョブを実行するには、ユーザーをhadoopグループのメンバーにする必要があります。

- Hiveで表を作成および変更するには、ユーザーはhiveグループのメンバーである必要があります。

- Hueユーザーを作成するには、ブラウザでHueを開き、「User Admin」アイコンをクリックします。詳細は、「Hueを使用したHadoopの操作」を参照してください。

HDFSユーザーを作成するには、次の手順を実行します。

1. rootユーザーとして、非クリティカル・ノード(node04からnode18)へのssh接続を開きます。

2. ユーザーのホーム・ディレクトリを作成します。

# sudo -u hdfs hadoop fs -mkdir /user/user_name

HDFSスーパー・ユーザーはhdfsである(rootではない)ため、sudoを使用します。

3. ディレクトリの所有者を変更します。

# sudo -u hdfs hadoop fs -chown user_name:primary_group_name /user/user_name

4. ディレクトリが正しく設定されていることを確認します。

# hadoop fs -ls /user

5. クラスタ内のすべてのノードに対してオペレーティング・システム・ユーザーを作成します。

# dcli useradd -G group_name [,group_name...] -m user_name

この構文では、group_nameを既存のグループ名、user_nameを新しいユーザー名でそれぞれ置換します。

リモート・クライアントからMapReduceジョブを実行する場合、Oracle Big Data Applianceでログイン権限は必要ありません。ただし、Oracle Big Data Applianceにログインする場合、パスワードを設定する必要があります。パスワードの設定とリセットは同じ方法で行えます。

すべてのOracle Big Data Applianceサーバーに対するユーザー・パスワードを設定するには、次の手順を実行します。

1. 前述の手順の説明に従ってHDFSユーザーを作成します。

2. ユーザーにパスワードがないことを確認します。

# dcli passwd -S user_name
bda1node01.example.com: jdoe NP 2013-01-22 0 99999 7 -1 (Empty password.)
bda1node02.example.com: jdoe NP 2013-01-22 0 99999 7 -1 (Empty password.)
bda1node03.example.com: jdoe NP 2013-01-22 0 99999 7 -1 (Empty password.)

この出力では、ユーザーjdoeにパスワードが設定されていないことを示しています。

3. パスワードを設定します。

hash=$(echo 'password' | openssl passwd -1 -stdin); dcli "usermod --pass='$hash' user_name"

4. すべてのサーバーに対してパスワードが設定されていることを確認します。

]# dcli passwd -S user_name
bda1node01.example.com: jdoe PS 2013-01-24 0 99999 7 -1 (Password set, MD5 crypt.)
bda1node02.example.com: jdoe PS 2013-01-24 0 99999 7 -1 (Password set, MD5 crypt.)
bda1node03.example.com: jdoe PS 2013-01-24 0 99999 7 -1 (Password set, MD5 crypt.)

例2-1では、hadoopをプライマリ・グループとし、hiveを追加グループとしてjdoeという名前のユーザーを作成します。

例2-1 Hadoopユーザーの作成

]# sudo -u hdfs hadoop fs -mkdir /user/jdoe
# sudo -u hdfs hadoop fs -chown jdoe:hadoop /user/jdoe
# hadoop fs -ls /user
Found 5 items
drwx------   - hdfs     supergroup          0 2013-01-16 13:50 /user/hdfs
drwxr-xr-x   - hive     supergroup          0 2013-01-16 12:58 /user/hive
drwxr-xr-x   - jdoe     hadoop              0 2013-01-18 14:04 /user/jdoe
drwxr-xr-x   - oozie    hadoop              0 2013-01-16 13:01 /user/oozie
drwxr-xr-x   - oracle   hadoop              0 2013-01-16 13:01 /user/oracle
# dcli useradd -G hive -m jdoe]
# dcli ls /home
bda1node01.example.com: hive
bda1node01.example.com: jdoe
bda1node01.example.com: oracle
bda1node02.example.com: hive
bda1node02.example.com: jdoe
.
.
.

関連項目:

- dcliの詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。

- useraddコマンドの完全な構文は、Linux manページを参照してください。

2.7 削除されたファイルのリカバリ

CDHはオプションのごみ箱機能を備えているので、削除されたファイルまたはディレクトリをただちにシステムから削除せずに、指定した期間trashディレクトリに移動できます。デフォルトで、ごみ箱機能はHDFSおよびすべてのHDFSクライアントで有効です。

2.7.1 ごみ箱からのファイルのリストア

ごみ箱機能が有効になっている場合は、削除してしまったファイルを簡単にリストアできます。

trashディレクトリからファイルをリストアするには、次の手順を実行します。

1. 削除されたファイルがごみ箱にあることを確認します。次の例では、oracleユーザーによって削除されたファイルを確認します。

$ hadoop fs -ls .Trash/Current/user/oracle
Found 1 items
-rw-r--r--  3 oracle hadoop  242510990 2012-08-31 11:20 /user/oracle/.Trash/Current/user/oracle/ontime_s.dat

2. 以前の場所にファイルを移動またはコピーします。次の例では、ontime_s.datをごみ箱からHDFSの/user/oracleディレクトリに移動します。

$ hadoop fs -mv .Trash/Current/user/oracle/ontime_s.dat /user/oracle/ontime_s.dat

2.7.2 ごみ箱を空にする間隔の変更

ごみ箱を空にする間隔とは、ファイルがシステムから永久に削除されるまで、trashディレクトリに保持される時間の最小値です。デフォルト値は、1日(24時間)です。

ごみ箱を空にする間隔を変更するには、次の手順を実行します。

1. Cloudera Managerを開きます。詳細は、「Cloudera Managerを使用したCDH操作の管理」を参照してください。

2. 「All Services」ページの「Name」の下で、「hdfs1」をクリックします。

3. 「hdfs1」ページで、「Configuration」サブタブをクリックします。

4. 「NameNode Settings」の下にある「Filesystem Trash Interval」プロパティを検索するか、下方向にスクロールして探します図2-7を参照してください。

5. 現在の値をクリックして、ポップアップ・フォームに新しい値を入力します。

6. 「Save Changes」をクリックします。

7. ページ上部の「Actions」メニューを展開して、「Restart」を選択します。

図2-7は、Cloudera ManagerにFilesystem Trash Intervalプロパティが表示されているところを示しています。

図2-7 Cloudera ManagerでのHDFSプロパティの設定

「図2-7 Cloudera ManagerでのHDFSプロパティの設定」の説明

2.7.3 ごみ箱機能の無効化

Oracle Big Data Applianceでは、デフォルトでごみ箱機能が有効になっています。この構成は、サーバーまたはクライアント・レベルで変更できます。ごみ箱機能を無効化すると、削除されたファイルおよびディレクトリはごみ箱に移動しません。リカバリできなくなります。

2.7.3.1 ごみ箱機能の完全な無効化

次の手順を実行すると、HDFSのごみ箱機能は無効化されます。ごみ箱機能が完全に無効化されても、クライアント構成には影響しません。

ごみ箱機能を完全に無効化するには、次の手順を実行します。

1. Cloudera Managerを開きます。詳細は、「Cloudera Managerを使用したCDH操作の管理」を参照してください。

2. 「All Services」ページの「Name」の下で、「hdfs1」をクリックします。

3. 「hdfs1」ページで、「Configuration」サブタブをクリックします。

4. 「NameNode Settings」の下にある「Filesystem Trash Interval」プロパティを検索するか、下方向にスクロールして探します図2-7を参照してください。

5. 現在の値をクリックして、ポップアップ・フォームに値0 (ゼロ)と入力します。

6. 「Save Changes」をクリックします。

7. ページ上部の「Actions」メニューを展開して、「Restart」を選択します。

2.7.3.2 ローカルのHDFSクライアントのごみ箱機能の無効化

Oracle Big Data ApplianceにインストールされているすべてのHDFSクライアントは、ごみ箱機能を使用するように構成されています。HDFSクライアントとは、HDFSに接続して、HDFSファイルの一覧表示、HDFSとの間のファイルのコピー、ディレクトリの作成といった操作を実行する任意のアプリケーションです。

Cloudera Managerを使用すると、ローカルのクライアント構成設定を変更できますが、ごみ箱機能は有効なままです。

注意:
どのクライアントもごみ箱を使用できないようにするには、ごみ箱機能を完全に無効化します。詳細は、「ごみ箱機能の完全な無効化」を参照してください。

ローカルのHDFSクライアントのごみ箱機能を無効化するには、次の手順を実行します。

1. Cloudera Managerを開きます。詳細は、「Cloudera Managerを使用したCDH操作の管理」を参照してください。

2. 「All Services」ページの「Name」の下で、「hdfs1」をクリックします。

3. 「hdfs1」ページで、「Configuration」サブタブをクリックします。

4. 「Client Settings」の下にある「Use Trash」プロパティを検索するか、下方向にスクロールして探します図2-7を参照してください。

5. 「Use Trash」チェック・ボックスの選択を解除します。

6. 「Save Changes」をクリックします。この設定は、Oracle Big Data Applianceに新たにダウンロードされるすべてのHDFSクライアントの構成に使用されます。

7. 既存のクライアントに新しい構成をデプロイするには、次の手順を実行します。

1. 「Actions」メニューを展開して、「Deploy Client Configuration」を選択します。

2. 操作を確認するプロンプトが表示されたら、「Deploy Client Configuration」をクリックします。

2.7.3.3 リモートのHDFSクライアントのごみ箱機能の無効化

リモートのHDFSクライアントは、通常、CDHクライアントをダウンロードおよびインストールすると構成されます(「CDHへのリモート・クライアント・アクセスの提供」を参照)。Oracle SQL Connector for HDFSやOracle R Connector for Hadoopなどがリモート・クライアントです。

リモートのHDFSクライアントのごみ箱機能を無効化するには、次の手順を実行します。

1. CDHクライアントがインストールされているシステムへの接続を開きます。

2. テキスト・エディタで/etc/hadoop/conf/hdfs-site.xmlを開きます。

3. ごみ箱を空にする間隔をゼロにします。

<property>
<name>fs.trash.interval</name>
<value>0</value>
</property>

4. ファイルを保存します。

2.8 Oracle Big Data Applianceソフトウェアについて

次の各項では、Oracle Big Data Applianceにインストールされるソフトウェアと、そのラック内での実行場所について説明します。一部のコンポーネントは、Oracle Database 11.2.0.2以降のリリースで動作します。

2.8.1 ソフトウェア・コンポーネント

次のソフトウェア・コンポーネントは、Oracle Big Data Applianceのラック内にある18台すべてのサーバーにインストールされます。Oracle Linux、必須ドライバ、ファームウェアおよびハードウェア検証ユーティリティは工場出荷時にインストール済です。その他のソフトウェアはすべて、Mammothユーティリティを使用してオンサイトでインストールします。オプションのソフトウェア・コンポーネントは、インストールで構成されない場合があります。

注意:
Oracle Big Data Applianceに追加のソフトウェアをインストールする必要はありません。これを行うと、保証やサポートの対象外となる可能性があります。詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。

ベースとなるイメージ・ソフトウェア:

- Oracle Linux 5.8

- Java HotSpot Virtual Machine 6 Update 37

- Oracle R Distribution 2.15.1

- MySQL Server 5.5.17 Advanced Edition

- Puppet、ファームウェア、ユーティリティ

Mammothインストール:

- Cloudera's Distribution including Apache Hadoop Release 4 Update 1.2 (CDH)

- Cloudera Manager Enterprise 4.1.2

- Oracle Database Instant Client 11.2.0.3

- Oracle NoSQL Database Community Edition 11gリリース2.0 (オプション)

- Oracle Big Data Connectors 2.0 (オプション):

- Oracle SQL Connector for Hadoop Distributed File System (HDFS)

- Oracle Loader for Hadoop

- Oracle Data Integrator Agent 11.1.1.6.0

- Oracle R Connector for Hadoop

関連項目:
Mammothユーティリティの詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。

図2-8は、主要コンポーネント間の関係を示しています。

図2-8 Oracle Big Data Applianceの主要ソフトウェア・コンポーネント

「図2-8 Oracle Big Data Applianceの主要ソフトウェア・コンポーネント」

2.8.2 論理ディスク・レイアウト

各サーバーには12基のディスクが搭載されています。重要なオペレーティング・システムはディスク1および2に格納されます。

表2-2に、ディスク・パーティションの内容を示します。

表2-2 論理ディスク・レイアウト

ディスク

説明

1から2

150ギガバイト(GB)の物理および論理パーティションで、ミラー化により2つのコピーを作成し、Linuxオペレーティング・システム、インストール済のソフトウェアすべて、NameNodeデータおよびMySQL Databaseのデータを格納。NameNodeおよびMySQLデータベースのデータは、2つのサーバー間でレプリケートされているため、合計で4つのコピーがあります。

2.8テラバイト(TB)のHDFSデータ・パーティション。

3から10

単一のHDFSデータ・パーティション。

11から12

ソフトウェアのインストール時にアクティベートされた場合は単一のOracle NoSQL Databaseパーティション、それ以外は単一のHDFSデータ・パーティション。

2.9 ソフトウェア・サービスについて

この項で説明する項目は、次のとおりです。

- CDHサービスの監視

- サービスの実行場所

- NameNodeの自動ファイルオーバー

- 未構成のソフトウェア

2.9.1 CDHサービスの監視

Cloudera Managerを使用すると、Oracle Big Data Appliance上のCDHサービスを監視できます。

サービスを監視するには、次の手順を実行します。

1. Cloudera Managerで、ページ上部にある「Services」タブをクリックして、「Services」ページを表示します。

2. サービス名をクリックすると、その詳細ページが表示されます。サービスの「Status」ページが開きます。

3. 確認するページのリンク(「Status」、「Instances」、「Commands」、「Configuration」または「Audits」)をクリックします。

2.9.2 サービスの実行場所

すべてのサービスは全サーバー上にインストールされますが、個々のサービスはHadoopクラスタ内の指定されたノードでのみ実行されます。

表2-3に、プライマリ・ラックでサービスが実行されるノードを示します。すべてのノード上で実行されるサービスは、マルチラック構成のすべてのラックで動作します。

表2-3 ソフトウェア・サービスの場所

サービス・タイプ

ロール

ノード名

初期ノードの場所

Cloudera Management Services

Cloudera Managerエージェント

すべてのノード

node01からnode18

Cloudera Management Services

Cloudera Managerサーバー

JobTrackerノード

node02

HDFS

バランサ

第1NameNode

node01

HDFS

DataNode

すべてのノード

node01からnode18

HDFS

フェイルオーバー・コントローラ

第1NameNodeおよび第2NameNode

node01およびnode02

HDFS

第1NameNode

第1NameNode

node01

HDFS

JournalNode

第1NameNode、第2NameNode、JobTrackerノード

node01からnode03

HDFS

第2NameNode

第2NameNode

node02

Hive

Hiveサーバー

JobTrackerノード

node03

Hue

Beeswaxサーバー

JobTrackerノード

node03

Hue

Hueサーバー

JobTrackerノード

node03

MapReduce

JobTracker

JobTrackerノード

node03

MapReduce

TaskTracker

すべての非クリティカル・ノード

node04からnode18

MySQL

MySQL Backup Server脚注 1

第2NameNode

node02

MySQL

MySQL Primary Server脚注 1

JobTrackerノード

node03

NoSQL

Oracle NoSQL Database管理脚注 2

第2NameNode

node02

NoSQL

Oracle NoSQL Database Serverプロセス脚注 2

すべてのノード

node01からnode18

ODI

Oracle Data Integratorエージェント脚注 2

JobTrackerノード

node03

Puppet

Puppetエージェント

すべてのノード

node01からnode18

Puppet

Puppetマスター

第1NameNode

node01

ZooKeeper

ZooKeeperサーバー

第1NameNode、第2NameNode、JobTrackerノード

node01からnode03

脚注 1 ソフトウェアをバージョン1.0からアップグレードした場合、MySQL Backup Serverはnode02に、MySQL Primary Serverはnode03にそれぞれ保持されます。

脚注 2 Oracle Big Data Appliance構成ワークシートで必要とされている場合にのみ、開始されます。

2.9.3 NameNodeの自動フェイルオーバー

NameNodeは、すべてのデータの場所を追跡するため、最も重要なプロセスです。正常に機能しているNameNodeがないと、クラスタ全体に障害が発生します。Apache Hadoop v0.20.2以前のバージョンは、ネームノードが1つしかないため、障害に対して脆弱です。

Cloudera's Distribution including Apache Hadoopのバージョン4 (CDH4)では、NameNodeの冗長性を維持することにより、この脆弱性が軽減されています。次に示すように、データは通常の運用時にレプリケートされます。

- CDHは、最初の2つのノード上でNameNodeの冗長性を維持します。NameNodeの一方はアクティブ・モード、もう一方のNameNodeはホット・スタンバイ・モードです。アクティブNameNodeに障害が発生すると、そのアクティブNameNodeのロールは自動的にスタンバイNameNodeにフェイルオーバーされます。

- NameNodeのデータはミラー化されたパーティションに書き込まれるので、1つのディスクが失われても耐障害性が確保されます。このミラー化の処理は、オペレーティング・システムのインストールの一環として工場出荷時に行われます。

- アクティブNameNodeでは、すべての変更を2つ以上のJournalNodeプロセスに記録し、これをスタンバイNameNodeが読み取ります。JournalNodeは3つあり、node01からnode03上で実行されます。

注意:
Oracle Big Data Appliance 2.0では、バックアップ用の外部NFSフィルタをサポートしておらず、NameNodeのフェデレーションを使用しません。

図2-9は、Oracle Big Data Applianceで自動フェイルオーバーをサポートしているプロセス間の関係を示しています。

図2-9 Oracle Big Data ApplianceでのNameNodeの自動フェイルオーバー

「図2-9 Oracle Big Data ApplianceでのNameNodeの自動フェイルオーバー」

2.9.4 未構成のソフトウェア

次のツールはインストールされますが構成されません。使用する前に構成する必要があります。

- Flume

- HBase

- Mahout

- Sqoop

- Whirr

関連項目:
構成の手順の詳細は、次のサイトで『CDH4 Installation and Configuration Guide』を参照してください
http://oracle.cloudera.com

2.10 ソフトウェアの可用性に与えるハードウェアの影響

サーバー障害の影響は、CDHクラスタ内におけるサーバーの機能によって異なります。Oracle Big Data Applianceサーバーは、コモディティ・ハードウェアよりも堅牢なため、ハードウェア障害が発生することはほとんどありません。この項では、プライマリ・ラックの様々なサーバー上で実行される重要性の高いサービスに焦点を当てています。詳細なリストは、表2-3を参照してください。

2.10.1 クリティカル・ノードと非クリティカル・ノード

クリティカル・ノードは、クラスタが正常に動作し、すべてのサービスをユーザーに提供するために必要です。これとは対照的に、非クリティカル・ノードに障害が発生しても、クラスタはサービスを失うことなく動作し続けます。

重要なサービスは、初期設定でプライマリ・ラックの最初の3つのノードにインストールされます。表2-4に、これらのノード上で実行される重要なサービスを示します。残りのノード(初期設定ではnode04からnode18)は重要性の低いサービスのみを実行します。クリティカル・ノードのいずれかでハードウェア障害が発生した場合は、別の非クリティカル・サーバーにサービスを移行できます。たとえば、node02に障害が発生した場合、その重要なサービスをnode05に移行するなどです。表2-4に、重要なサービスを提供しているノードの名前を示します。

クリティカル・ノードを移行するには、すべてのクライアントが新しいノードのアドレスで再構成されている必要があります。もう1つの方法としては、障害が発生したサーバーの復旧を待ちます。サービスの喪失とクライアントを再構成する不便さとを比較検討する必要があります。

表2-4 クリティカル・ノード

ノード名

初期ノードの場所

重要な機能

第1NameNode

node01

ZooKeeper、第1NameNode、フェイルオーバー・コントローラ、バランサ、Puppetマスター

第2NameNode

node02

ZooKeeper、第2NameNode、フェイルオーバー・コントローラ、MySQLバックアップ・サーバー

JobTrackerノード

node03

ZooKeeper、JobTracker、Cloudera Managerサーバー、Oracle Data Integratorエージェント、MySQLプライマリ・サーバー、Hue、Hive

2.10.2 第1NameNode

NameNodeインスタンスの1つは、初期設定ではnode01上で実行されます。このノードに障害が発生するか、オフライン(再起動など)になると、第2NameNode (node02)が自動的に引き継いで、クラスタの正常なアクティビティを維持します。

または、第2NameNodeがすでにアクティブな場合は、バックアップなしで動作し続けます。NameNodeが1つのみの場合、クラスタは障害に対して脆弱です。クラスタは、アクティブNameNodeの自動ファイルオーバーに必要な冗長性を失っています。

次の機能も影響を受けます。

- バランサ: バランサは、クラスタ全体でデータが均等に分散されるよう、定期的に実行されます。第1NameNodeが停止していると、負荷分散は実行されません。

- Puppetマスター: MammothユーティリティではPuppetを使用するので、たとえばラック内の別の場所にあるディスク・ドライブを交換する必要がある場合、ソフトウェアのインストールまたは再インストールはできません。

2.10.3 第2NameNode

NameNodeインスタンスの1つは、初期設定ではnode02上で実行されます。このノードに障害が発生すると、NameNodeの機能は第1NameNode (node01)にフェイルオーバーされるか、そのままバックアップなしで動作し続けます。ただし、第1NameNodeにも障害が発生すると、クラスタは自動ファイルオーバーに必要な冗長性を失っています。

次のサービスも影響を受けます。

- MySQL Master Database: Cloudera Manager、Oracle Data Integrator、HiveおよびOozieはMySQLデータベースを使用しています。データは自動的にレプリケートされますが、マスター・データベース・サーバーが停止していると、それにはアクセスできません。

- Oracle NoSQL Database KV Administration: Oracle NoSQL DatabaseデータベースはOracle Big Data Applianceのオプション・コンポーネントであるため、それを使用しているかどうか、またアプリケーションにどの程度重要かによって、ノード障害の影響の度合いは異なります。

2.10.4 JobTrackerノード

JobTrackerは、MapReduceタスクをCDHクラスタ内の特定のノードに割り当てます。JobTrackerノード(node03)がないと、この重要な機能は実行されません。

次のサービスも影響を受けます。

- Cloudera Manager: このツールは、CDHクラスタ全体の一元管理機能を提供します。このツールがない場合は、「Hadoop監視ユーティリティの使用方法」で説明したユーティリティを使用すれば、引き続きアクティビティを監視できます。

- Oracle Data Integrator: このサービスは、Oracle Data Integrator Application Adapter for Hadoopをサポートしています。JobTrackerノードが停止している場合、このコネクタは使用できません。

- Hive: Hiveは、HDFSに格納されているデータへのSQLライクなインタフェースを備えています。Oracle Big Data Connectorsの多くは、Hive表にアクセスできますが、このノードが動作していない場合は使用できません。

- MySQL Backup Database: MySQL Serverは動作を継続しますが、マスター・データベースのバックアップはありません。

2.10.5 非クリティカル・ノード

非クリティカル・ノード(node04からnode18)はオプションのため、障害が発生しても、Oracle Big Data Applianceはサービスを失うことなく動作し続けます。NameNodeでは失われたデータを自動的にレプリケートして、常に3つのコピーを保持します。MapReduceジョブは、クラスタの別の場所に保存されているデータのコピーに対して実行されます。ワークロードの分散先のサーバーが少なくなるので、処理能力のみが失われることになります。

2.11 オラクル社カスタマ・サポートに提供する診断情報の収集

CDHの問題のトラブルシューティングを行うために、Oracleサポートのアドバイスが必要な場合は、まずbdadiagユーティリティをcmオプションを指定して使用し、診断情報を収集してください。

診断情報を収集するには、次の手順を実行します。

1. Oracle Big Data Applianceサーバーにrootとしてログインします。

2. 少なくともcmオプションを指定してbdadiagを実行します。必要に応じてコマンドに他のオプションを含めることができます。bdadiagの構文の詳細は、『Oracle Big Data Applianceオーナーズ・ガイド』を参照してください。

# bdadiag cm

コマンド出力によって、診断ファイルの名前と場所が識別されます。

3. My Oracle Support (http://support.oracle.com)へ移動します。

4. サービス・リクエスト(SR)を開きます(まだ開いていない場合)。

5. SRにbz2ファイルをアップロードします。ファイルのサイズが大きすぎる場合は、ftp.oracle.comにアップロードしてください(次の手順を参照)。

診断情報をftp.oracle.comにアップロードするには、次の手順を実行します。

1. FTPクライアントを開き、ftp.oracle.comに接続します。
Oracle Big Data ApplianceからコマンドラインFTPクライアントを使用している場合は、例2-2を参照してください。

2. パスワード・フィールドは空白のまま、anonymousユーザーとしてログインします。

3. bda/incomingディレクトリで、ディレクトリ名にSR番号が付いたディレクトリを作成します(形式: SR番号)。作成されたディレクトリ構造は次のようになります。

bda
incoming
SRnumber

4. バイナリ・オプションを設定して、バイナリ・データの破損を防ぎます。

5. 診断bz2ファイルを新しいディレクトリにアップロードします。

6. フル・パス(bda/incoming/SRnumberの形式)およびファイル名を使用してSRを更新します。

例2-2は、Oracle Big Data ApplianceでFTPコマンド・インタフェースを使用して、診断情報をアップロードするコマンドを示しています。

例2-2 FTPを使用した診断情報のアップロード

# ftp
ftp> open ftp.oracle.com
Connected to bigip-ftp.oracle.com.
220-***********************************************************************
220-Oracle FTP Server
.
.
.
220-****************************************************************************
220-
220
530 Please login with USER and PASS.
530 Please login with USER and PASS.
KERBEROS_V4 rejected as an authentication type
Name (ftp.oracle.com:root): anonymous
331 Please specify the password.
Password:
230 Login successful.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> cd bda/incoming
250 Directory successfully changed.
ftp> mkdir SR12345
257 "/bda/incoming/SR12345" created
ftp> cd SR12345
250 Directory successfully changed.
ftp> put /tmp/bdadiag_bda1node01_1216FM5497_2013_01_18_07_33.tar.bz2
local: bdadiag_bda1node01_1216FM5497_2013_01_18_07_33.tar.bz2
remote: bdadiag_bda1node01_1216FM5497_2013_01_18_07_33.tar.bz2
227 Entering Passive Mode (141,146,44,21,212,32)
150 Ok to send data.
226 File receive OK.
2404836 bytes sent in 1.8 seconds (1.3e+03 Kbytes/s)

2.12 Oracle Big Data Applianceのセキュリティ

Oracle Big Data Applianceではソフトウェアやデータの不正利用を防ぐための予防策を取ることができます。

この項の内容は次のとおりです。

- Kerberosを使用したCDHのセキュリティ

- Oracle Big Data Applianceで使用されるポート番号

- Puppetのセキュリティについて

2.12.1 Oracle Big Data Applianceで使用されるポート番号

表2-5に、CDH用のポート番号の他に使用される可能性のあるポート番号を示します。CDHのポート番号の詳細なリストは、次に示すClouderaのWebサイトを参照してください。

http://ccp.cloudera.com/display/CDH4DOC/Configuring+Ports+for+CDH4

特定のサーバー上で使用されるポート番号を確認するには、次の手順を実行します。

1. Cloudera Managerで、ページ上部にある「Hosts」タブをクリックして、「Hosts」ページを表示します。

2. 「Name」列でサーバーのリンクをクリックすると、その詳細ページが表示されます。

3. 「Ports」セクションまで下方向にスクロールします。

関連項目:
ClouderaのWebサイト(CDHポート番号の確認):

- 『Hadoop Default Ports Quick Reference』
http://www.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

- 『Configuring Ports for CDH3』
https://ccp.cloudera.com/display/CDHDOC/Configuring+Ports+for+CDH3

表2-5 Oracle Big Data Applianceのポート番号

サービス

ポート

Automated Service Monitor (ASM)

30920

MySQL Database

3306

Oracle Data Integrator Agent

20910

Oracle NoSQL Database管理

5001

Oracle NoSQL Databaseプロセス

5010から5020

Oracle NoSQL Database登録

5000

ポート・マップ

111

Puppetマスター・サービス

8140

Puppetノード・サービス

8139

rpc.statd

668

ssh

22

xinetd (サービス・タグ)

6481

2.12.2 Kerberosを使用したCDHのセキュリティ

Apache Hadoopは、本質的に安全なシステムではありません。ネットワーク・セキュリティによってのみ保護されています。接続が確立されると、クライアントはシステムに対して完全なアクセス権限を取得します。

Cloudera's Distribution including Apache Hadoop (CDH)では、Kerberosネットワーク認証プロトコルをサポートし、悪意のある偽装攻撃を防ぎます。Kerberosをインストールして構成し、Kerberos Key Distribution Centerおよびレルムを設定する必要があります。その後で、CDHの各種コンポーネントでKerberosを使用するように構成します。

Kerberosを使用するように構成された場合、CDHは次のセキュリティを提供します。

- CDHマスター・ノード、NameNodeおよびJobTrackerでグループ名を解決し、ユーザーがグループのメンバーシップを操作できないようにします。

- マップ・タスクはジョブを発行したユーザーのアイデンティティの下で実行されます。

- HDFSの認可メカニズムおよびMapReduceを使用して、ユーザーのデータ・アクセスを制御します。

関連項目:
次のマニュアルは、http://oracle.cloudera.comで入手できます。

- 『CDH4 Security Guide』

- 『Configuring Hadoop Security with Cloudera Manager』

- 『Configuring TLS Security for Cloudera Manager』

2.12.3 Puppetのセキュリティについて

Puppetノード・サービス(puppetd)は、すべてのサーバー上でrootとして継続的に実行されます。Puppetマスターに対する更新リクエストのトリガーとなるキック・リクエストを、ポート8139上でリスニングします。このポート上で更新は受信しません。

Puppetマスター・サービス(puppetmasterd)は、Oracle Big Data Applianceのプライマリ・ラックの第1サーバー上で、Puppetユーザーとして継続的に実行されます。ポート8140上で、Puppetノードに更新をプッシュするリクエストをリスニングします。

Puppetノードは、ソフトウェアのインストール時に初期登録するため、証明書を生成してPuppetマスターに送信します。ソフトウェアのアップデートの場合は、PuppetマスターからPuppetノードに信号(キック)が送信され、そこから登録先のPuppetマスター・ノードに対して、すべての構成変更がリクエストされます。

Puppetマスターは、既知の有効な証明書を保持しているPuppetノードに対してのみ更新を送信します。Puppetノードは、初期登録されたPuppetマスターのホスト名からの更新のみを受け付けます。Oracle Big Data Applianceでは、ラック内の通信に内部ネットワークを使用するため、Puppetマスターのホスト名は、/etc/hostsを使用して、内部のプライベートIPアドレスに解決されます。

用語集

ASR

Oracle Auto Service Requestは、ハードウェアの状態を監視し、問題を検出すると自動的にサービス・リクエストを生成するソフトウェア・ツールです。

OASMも参照してください。

バランサ

クラスタ内のすべてのノードに、設定範囲内でほぼ同量のデータが格納されるようにするサービス。データは、ノード内のディスク間ではなく、クラスタ内のノード間で分散されます。

CDH

Cloudera's Distribution including Apache Hadoopは、Oracle Big Data ApplianceにインストールされるApache Hadoopおよび関連コンポーネントです。

Cloudera's Distribution including Apache Hadoop (CDH)

CDHを参照してください。

クラスタ

連携して機能するように構成された、ネットワーク上のサーバーのグループ。サーバーは、マスター・ノードまたはワーカー・ノードのいずれかです。

Oracle Big Data Applianceのラック内にあるすべてのサーバーがクラスタを構成します。サーバー1、2および3はマスター・ノードです。サーバー4から18はワーカー・ノードです。

Hadoopを参照してください。

DataNode

HDFSにデータを格納する、CDHクラスタ内のサーバー。DataNodeは、NameNodeによって割り当てられたファイル・システム操作を実行します。

HDFS、NameNodeも参照してください。

Flume

CDHの分散サービスで、ほぼあらゆるソースからHDFSやHBaseなどのデータ・ストアにデータを収集して集計します。

HBase、HDFSも参照してください。

Hadoop

ファイルを格納し、サーバーのグループ全体でワークロードを分散するバッチ処理インフラストラクチャ。Oracle Big Data Applianceでは、Cloudera's Distribution including Apache Hadoop (CDH)を使用します。

Hadoop Distributed File System (HDFS)

HDFSを参照してください。

Hadoop User Experience (Hue)

Hueを参照してください。

HBase

CDHクラスタ内に格納されている大量の疎データに対して、ランダムな読取り/書込みアクセス権を提供するオープンソースの列指向データベース。キーによる値の高速ルックアップを備え、1秒当たり何千件もの挿入、更新、削除操作を実行できます。

クラスタも参照してください。

HDFS

Hadoop Distributed File Systemは、ストリーミング型のデータ・アクセス・パターンによって、非常に大きなデータ・ファイル(メガバイトからペタバイト)を格納するために設計された、オープンソース・ファイル・システムです。HDFSは、これらのファイルを複数のデータ・ブロックに分割し、そのブロックをCDHクラスタ全体に分散します。

1つのデータ・セットが1台のコンピュータのストレージ容量よりも大きい場合は、複数のコンピュータにまたがって分割する必要があります。分散ファイル・システムでは、コンピュータのネットワーク全体にわたって、データ・セットのストレージを管理できます。

クラスタも参照してください。

Hive

CDHのオープンソース・データ・ウェアハウスで、HDFS内に格納されているデータのデータ要約、アドホック問合せおよびデータ分析をサポートします。HiveQLと呼ばれるSQLライクな言語を使用します。インタプリタによって、HiveQL問合せからMapReduceコードが生成されます。

Hiveを使用することにより、MapReduceプログラムをJavaで記述しないですみます。

Hive Thrift、HiveQL、MapReduceも参照してください。

Hive Thrift

Hive問合せで使用するCDHへのリモート・アクセス用のリモート・プロシージャ・コール(RPC)インタフェースです。

CDH、Hiveも参照してください。

HiveQL

Hiveで使用されるSQLライクな問合せ言語です。

Hiveも参照してください。

HotSpot

Oracleが保守および配布するJava仮想マシン(JVM)。頻繁に実行されるコードを自動的に最適化して、優れたパフォーマンスを実現します。HotSpotは、Oracle Big Data Applianceスタックのその他のコンポーネントの標準JVMです。

Hue

Hadoop User Experienceは、複数のアプリケーション(HDFSファイル・ブラウザ、ジョブ・ブラウザ、アカウント管理ツール、MapReduceジョブ・デザイナ、Hiveウィザードなど)を含むCDHのWebユーザー・インタフェースです。Cloudera ManagerでHueを実行します。

HDFS、Hiveも参照してください。

Java HotSpot仮想マシン

HotSpotを参照してください。

JobTracker

MapReduceタスクをCDHクラスタ内の特定のノード(データを格納するノードが望ましい)に割り当てるサービスです。

Hadoop、MapReduceも参照してください。

MapReduce

分散システム上でデータを処理する並列プログラミング・モデル。

MapReduceプログラムには、次の機能が含まれています。

- マッパー: データ・セットのレコードを処理します。

- リデューサ: 複数のマッパーからの出力をマージします。

- コンバイナ: マッパーからの結果セットをリデューサに送信する前に最適化します(オプション)。

MySQLサーバー

SQLベースのリレーショナル・データベース管理システム。Cloudera Manager、Oracle Data Integrator、HiveおよびOozieは、Oracle Big Data Appliance上で、MySQLサーバーをメタデータ・リポジトリとして使用します。

NameNode

HDFS内のすべてのファイルのディレクトリを保持し、CDHクラスタ内でのデータの格納場所を追跡するサービスです。

HDFSも参照してください。

ノード

CDHクラスタ内のサーバーです。

クラスタも参照してください。

OASM

Oracle Automated Service Managerは、Oracle Sunハードウェア・システムの状態を監視するサービスです。以前は、Sun Automatic Service Manager (SASM)と呼ばれていました。

Oozie

CDHにおけるデータ処理のジョブを管理するための、オープンソースのワークフローおよびコーディネーション・サービスです。

Oracle Database Instant Client

標準のOracle DatabaseクライアントなしでOracleアプリケーションを実行できるようにするスモール・フットプリント・クライアントです。

Oracle Linux

オープンソース・オペレーティング・システム。Oracle Linux 5.6は、Exalogic 1.1.で使用されているバージョンと同じです。Oracle Unbreakable Enterprise Kernelを備えています。

Oracle R Distribution

統計分析とグラフ作成に対応したオープンソースの言語および環境Rの、Oracle対応ディストリビューションです。

Oracle R Enterprise

Oracle Advanced Analytics Optionのコンポーネント。これを使用すると、RユーザーはRコマンドおよびスクリプトを実行して、Oracleデータベースに格納されているデータの統計分析やグラフ分析ができます。

Pig

大規模なデータ・セットを分析するためのオープンソース・プラットフォームで、次のものから構成されます。

- Pig Latinスクリプト言語

- Pig LatinスクリプトをMapReduceジョブに変換するPigインタプリタ

Pigは、クライアント・アプリケーションとして動作します。

MapReduceも参照してください。

Puppet

クラスタ全体にソフトウェア・コンポーネントをデプロイおよび構成するための構成管理ツール。Oracle Big Data Applianceの初期ソフトウェア・インストールでは、Puppetを使用します。

Puppetツールは、Puppetエージェント(通常は単にPuppetと呼ばれる)、Puppetマスター・サーバー、コンソールおよびクラウド・プロビジョナの各コンポーネントで構成されます。

Puppetエージェント、Puppetマスターも参照してください。

Puppetエージェント

主にPuppetマスターから構成を取得して、それを適用するサービスです。Puppetエージェントは、Oracle Big Data Appliance内の各サーバー上で動作します。

Puppet、Puppetマスターも参照してください。

Puppetマスター

主に、Puppetエージェントに構成を提供するサービスです。

Puppet、Puppetエージェントも参照してください。

Sqoop

HDFSまたはHiveと構造化データベースとの間でデータのインポートとエクスポートを行うコマンドライン・ツール。Sqoopという名前は、"SQL to Hadoop"に由来します。Oracle R Connector for Hadoopでは、Sqoopの実行可能ファイルを使用して、HDFSとOracle Database間のデータ移行を行います。

表

Hiveでは、HDFS内に格納されているディレクトリ内のすべてのファイルです。

HDFSも参照してください。

TaskTracker

各ノード上で実行され、JobTrackerサービスによって割り当てられたタスクを実行するサービスです。

JobTrackerも参照してください。

ZooKeeper

CDHの分散プロセス向けの一元的なコーディネーション・サービスで、構成情報とネーミングを保持し、分散同期サービスとグループ・サービスを提供します。

索引

A  B  C  D  E  F  G  H  I  J  K  L  M  N  O  P  R  S  T  U  W  X  Z

A

アプリケーション・アダプタ, 1.5.3.4, 2.9.2

Automated Service Manager

「OASM」を参照

B

バランサ, 2.9.2

ノードの場所, 2.10.2

Beeswaxサーバー, 2.9.2 Berkeley DB, 1.4.2 ビッグ・データの説明, 1.1 ビジネス・インテリジェンス, 1.2, 1.4, 1.6

C

CDH

説明, 1.3

診断, 2.11

ファイル・システム, 1.4.1

リモート・クライアント・アクセス, 2.5

セキュリティ, 2.12.2

バージョン, 2.8.1

ファイルのチャンク化, 1.4.1 クライアント構成, 2.5 Cloudera Manager

説明, 2.2

管理ツールへのアクセス, 2.2.2

接続, 2.2

ハードウェア障害の影響, 2.10.4

ソフトウェアの依存性, 2.10.3

ソフトウェア・サービス, 2.9.2, 2.9.2

UIの概要, 2.2.1

バージョン, 2.8.1

Cloudera's Distribution including Apache Hadoop

「CDH」を参照

クラスタ, 定義, 1.3 CSVファイル, 1.5.3.1

D

データ・ポンプ・ファイル, 1.5.3.2

データ・レプリケーション, 1.4.1

DataNode, 2.9.2, 2.10.1

dbaグループ, 2.6.1

診断, 収集, 2.11

ディスク, 2.8.2

データの複製, 1.4.1

E

エンジアド・システム, 1.2

Exadata Database Machine, 1.2

Exalytics In-Memory Machine, 1.2

外部表, 1.5.3.1

F

ファイル, HDFSのリカバリ, 2.7

第1NameNode, NameNode

第1, 2.10.2

Flume, 2.6.1, 2.9.4 ftp.oracle.com, アップロード, 2.11

G

グループ, 2.6, 2.6.1

H

Hadoop Distributed File System

「HDFS」を参照

hadoopグループ, 2.6 Hadoop Map/Reduce Administration, 2.3.1 Hadoopのバージョン, 1.3 HBase, 2.6.1, 2.9.4 HDFS

説明, 1.3, 1.4.1

ユーザーID, 2.6.1

HDFSデータ・ファイル, 1.5.3.1 Hive, 2.6.1

説明, 1.4.3

ノードの場所, 2.10.4

ソフトウェアの依存性, 2.10.3

ソフトウェア・サービス, 2.9.2

表, 2.6.2

ユーザーID, 2.6.1, 2.6.1, 2.6.1

hiveグループ, 2.6 HiveQL, 1.4.3 HotSpot

「Java HotSpot仮想マシン」を参照

Hue

ソフトウェア・サービス, 2.9.2

ユーザーID, 2.6.1

I

CDHクライアントのインストール, 2.5

J

Java HotSpot仮想マシン, 2.8.1

JobTracker, 2.9.2

説明, 2.10.4

監視, 2.3.1

開く, 2.3.1

セキュリティ, 2.12.2

ユーザーID, 2.6.1

JobTrackerノード, 2.10.4

K

Kerberosネットワーク認証, 2.12.2

キー/値データベース, 1.4.2

ナレッジ・モジュール, 1.5.3.4

L

Linux

ディスクの場所, 2.8.2

インストール, 2.8.1

データのロード, 1.5.3.1, 1.5.3.2

M

Mahout, 2.9.4

mapredユーザー, 2.6.1

MapReduce, 1.3, 1.5.1, 2.6.2, 2.12.2

監視

JobTracker, 2.3.1

TaskTracker, 2.3.2

MySQLデータベース

説明, 2.10.3

バックアップの場所, 2.9.2, 2.10.4

ポート番号, 2.12.1

ソフトウェア・サービス, 2.9.2

ユーザーID, 2.6.1

バージョン, 2.8.1

N

NameNode, 2.9.2, 2.9.3, 2.12.2

NoSQLデータベース

「Oracle NoSQL Database」も参照

O

OASM, ポート番号, 2.12.1

ODI

「Oracle Data Integrator」を参照

oinstallグループ, 2.6, 2.6.1 Oozie

ソフトウェアの依存性, 2.10.3, 2.10.3

ソフトウェア・サービス, 2.6.1

ユーザーID, 2.6.1

オペレーティング・システム・ユーザー, 2.6.1 Oracle Automated Service Manager

「OASM」を参照

Oracle Data Integrator, 1.5.3.4

説明, 1.5.3.1

ノードの場所, 2.10.4

ソフトウェアの依存性, 2.10.3

バージョン, 2.8.1

Oracle Data Integratorエージェント, 2.9.2, 2.12.1 Oracle Data Pumpファイル, 1.5.3.2 Oracle Database Instant Client, 2.8.1 Oracle Direct Connector for Hadoop Distributed File System, 1.5.3.1 Oracle Exadata Database Machine, 1.2 Oracle Exalytics In-Memory Machine, 1.2 Oracle Linux

説明, 1.3

HDFSとの関係, 1.3

バージョン, 2.8.1

Oracle Loader for Hadoop, 1.5.3.2, 2.8.1 Oracle NoSQL Database

説明, 1.4.2

KV Administration, 2.10.3

ポート番号, 2.12.1

ソフトウェア・サービス, 2.9.2, 2.9.2

バージョン, 2.8.1

Oracle R Connector for Hadoop, 1.5.3.3, 2.8.1 Oracle R Enterprise, 1.5.2 Oracleサポート, サービス・リクエストの作成, 2.11 oracleユーザー, 2.6, 2.6.1

P

パーティション化, 2.8.2

プランニング・アプリケーション, 1.2

ポート・マップ, 2.12.1

ポート番号, 2.12.1, 2.12.1

Puppet

ポート番号, 2.12.1

セキュリティ, 2.12.3

ソフトウェア・サービス, 2.9.2, 2.9.2

ユーザーID, 2.6.1

Puppetマスター

ノードの場所, 2.10.2

R

R Connector

「Oracle R Connector for Hadoop」を参照

Rディストリビューション, 2.8.1 R言語のサポート, 1.5.2 HDFSファイルのリカバリ, 2.7 リモート・クライアント・アクセス, 2.5 データのレプリケート, 1.4.1 rpc.statdサービス, 2.12.1

S

第2NameNode, NameNode

第2, 2.10.3

セカンダリNameNode, 2.9.2 セキュリティ, 2.12 サービス・リクエスト, CDH用に作成, 2.11 サービス・タグ, 2.12.1 サービス

「ソフトウェア・サービス」を参照

ソフトウェア・コンポーネント, 2.8.1 ソフトウェア・フレームワーク, 1.3 ソフトウェア・サービス

監視, 2.9.1

ノードの場所, 2.9.2

ポート番号, 2.12.1

Sqoop, 2.6.1, 2.9.4 sshサービス, 2.12.1 svctagユーザー, 2.6.1

T

表, 1.5.3.1, 1.5.3.2, 2.6.2

Task Tracker Statusインタフェース, 2.3.2

TaskTracker

監視, 2.3.2

ノードの場所, 2.9.2

ユーザーID, 2.6.1

ごみ箱機能, 2.7 CDHのトラブルシューティング, 2.11

U

ユーザー・グループ, 2.6

ユーザー

Cloudera Manager, 2.2.2

オペレーティング・システム, 2.6.1

W

Whirr, 2.9.4

X

xinetdサービス, 2.12.1

Z

ZooKeeper, 2.6.1

Copyright © 2011, 2013, Oracle and/or its affiliates. All rights reserved.