Uso de Apache Tez
Utilice Apache Tez como marco para el procesamiento de big data basado en la tecnología MapReduce en clusters de Big Data Service.
Nota
Big Data Service 3.1.1 o posterior necesita que el origen
Big Data Service 3.1.1 o posterior necesita que el origen
tez-env.sh
incluya archivos jar de Hadoop en la classpath.# Login as tez user
sudo -u {user}
# Source the tez-env.sh inorder to set the classpath
source /etc/tez/conf/tez-env.sh
# Run tez application
hadoop jar /usr/odh/current/tez-client/tez-tests-*.jar testorderedwordcount -DUSE_TEZ_SESSION=true /tmp/tezcmdtests/input1/ /tmp/tezcmdtests-output/output1/ /tmp/tezcmdtests/input2/ /tmp/tezcmdtests-output/output2/ /tmp/tezcmdtests/input3/ /tmp/tezcmdtests-output/output3/\"".format(user=self.user)
Propiedades de configuración de Tez
Propiedades de configuración de Tez incluidas en Big Data Service 3.1.1 o posterior.
Configuración | Propiedad | Descripción |
---|---|---|
tez-env |
tez_classpath_ext |
Rutas que contienen bibliotecas de Hadoop para Tez |