Documentation Oracle Cloud Infrastructure

Utilisation d'Apache Tez

Utilisez Apache Tez comme structure pour le traitement du Big Data basé sur la technologie MapReduce sur les clusters Big Data Service.

Remarque

Big Data Service 3.1.1 ou version ultérieure requiert que la source tez-env.sh inclue des fichiers JAR Hadoop dans la variable d'environnement CLASSPATH.
# Login as tez user
sudo -u {user}
 
# Source the tez-env.sh inorder to set the classpath
source /etc/tez/conf/tez-env.sh
 
# Run tez application
hadoop jar /usr/odh/current/tez-client/tez-tests-*.jar testorderedwordcount -DUSE_TEZ_SESSION=true /tmp/tezcmdtests/input1/ /tmp/tezcmdtests-output/output1/ /tmp/tezcmdtests/input2/ /tmp/tezcmdtests-output/output2/ /tmp/tezcmdtests/input3/ /tmp/tezcmdtests-output/output3/\"".format(user=self.user)

Propriétés de configuration Tez

Tez les propriétés de configuration incluses dans Big Data Service 3.1.1 ou version ultérieure.

Configuration Propriété Description
tez-env tez_classpath_ext Chemins contenant les bibliothèques Hadoop pour Tez