Usando o Apache Tez

Use o Apache Tez como uma estrutura para processamento de big data com base na tecnologia MapReduce em clusters do Big Data Service.

Observação

O Big Data Service 3.1.1 ou posterior requer que a origem tez-env.sh inclua jars do Hadoop no classpath.
# Login as tez user
sudo -u {user}
 
# Source the tez-env.sh inorder to set the classpath
source /etc/tez/conf/tez-env.sh
 
# Run tez application
hadoop jar /usr/odh/current/tez-client/tez-tests-*.jar testorderedwordcount -DUSE_TEZ_SESSION=true /tmp/tezcmdtests/input1/ /tmp/tezcmdtests-output/output1/ /tmp/tezcmdtests/input2/ /tmp/tezcmdtests-output/output2/ /tmp/tezcmdtests/input3/ /tmp/tezcmdtests-output/output3/\"".format(user=self.user)

Propriedades de Configuração do Tez

Propriedades de configuração de Tez incluídas no Big Data Service 3.1.1 ou posterior.

Configuração Propriedade Descrição
tez-env tez_classpath_ext Caminhos que contêm bibliotecas Hadoop para Tez