Apache Tezの使用
Apache Tezをビッグ・データ・サービス・クラスタ上のMapReduceテクノロジに基づくビッグ・データ処理のフレームワークとして使用します。
ノート
ビッグ・データ・サービス3.1.1以降では、クラスパスにソース
ビッグ・データ・サービス3.1.1以降では、クラスパスにソース
tez-env.shにHadoop jarが含まれている必要があります。# Login as tez user
sudo -u {user}
# Source the tez-env.sh inorder to set the classpath
source /etc/tez/conf/tez-env.sh
# Run tez application
hadoop jar /usr/odh/current/tez-client/tez-tests-*.jar testorderedwordcount -DUSE_TEZ_SESSION=true /tmp/tezcmdtests/input1/ /tmp/tezcmdtests-output/output1/ /tmp/tezcmdtests/input2/ /tmp/tezcmdtests-output/output2/ /tmp/tezcmdtests/input3/ /tmp/tezcmdtests-output/output3/\"".format(user=self.user)
Tez構成プロパティ
Big Data Service 3.1.1以降に含まれるTez構成プロパティ。
| 設定 | プロパティ | 説明 |
|---|---|---|
tez-env |
tez_classpath_ext |
TezのHadoopライブラリを含むパス |