Usando o Apache Tez
Use o Apache Tez como uma estrutura para processamento de big data com base na tecnologia MapReduce em clusters do Big Data Service.
Observação
O Big Data Service 3.1.1 ou posterior requer que a origem
O Big Data Service 3.1.1 ou posterior requer que a origem
tez-env.sh
inclua jars do Hadoop no classpath.# Login as tez user
sudo -u {user}
# Source the tez-env.sh inorder to set the classpath
source /etc/tez/conf/tez-env.sh
# Run tez application
hadoop jar /usr/odh/current/tez-client/tez-tests-*.jar testorderedwordcount -DUSE_TEZ_SESSION=true /tmp/tezcmdtests/input1/ /tmp/tezcmdtests-output/output1/ /tmp/tezcmdtests/input2/ /tmp/tezcmdtests-output/output2/ /tmp/tezcmdtests/input3/ /tmp/tezcmdtests-output/output3/\"".format(user=self.user)
Propriedades de Configuração do Tez
Propriedades de configuração de Tez incluídas no Big Data Service 3.1.1 ou posterior.
Configuração | Propriedade | Descrição |
---|---|---|
tez-env |
tez_classpath_ext |
Caminhos que contêm bibliotecas Hadoop para Tez |