Documentation Oracle Cloud Infrastructure

Déploiement de Tez sur des clusters Big Data Service non HA

Déployez Apache Tez sur des clusters Big Data Service non hautement disponibles.

  1. Configuration de Tomcat :
    1. Téléchargez Tomcat à partir du lien suivant : https://tomcat.apache.org/download-90.cgi.
    2. Déployez le serveur Web Tez sur le noeud sur lequel le serveur de chronologie est exécuté. Le noeud de serveur de chronologie par défaut est mn1. 
      sudo tar xf /tmp/apache-tomcat-9.0.70.tar.gz -C /opt/
sudo ln -s /opt/apache-tomcat-9.0.70 /opt/tomcat
    3. Démarrez le service Tomcat :
      bin/startup.sh
    4. Arrêtez le service Tomcat :
      bin/shutdown.sh
  2. Configurez le fichier Tez-UI.war :
    1. Téléchargez Tez-ui-0.10.1.war à partir du site https://repo1.maven.org/maven2/org/apache/tez/tez-ui/0.10.1/.
    2. Décompressez le fichier war et copiez-le dans /opt/tomcat/webapps. 
      sudo cp /tmp/tez-ui-0.10.1.war /opt/tez/
sudo unzip /opt/tez/tez-ui-0.10.1.war -d /opt/tez/tez-ui
sudo cp -R /opt/tez/tez-ui /opt/tomcat/webapps/
    3. Mettez à jour /opt/tomcat/webapps/tez-ui/config/config.js avec le nom d'hôte du serveur de chronologie et du gestionnaire de ressources : 
      ENV = {
  hosts: {
	timelineBaseUrl: 'http://144.25.40.156:8188',
	RMWebUrl: 'http://144.25.39.192:8088',
}
};
  3. Mettez à jour les adresses IP de chronologie et de gestionnaire de ressources dans assets/tez-ui.js : 
    timeline":"localhost:8188","rm":"localhost:8088"}    should be updated with below details
timeline : 144.25.40.156:8188","rm":"144.25.39.192:8088"}
  4. Connectez-vous à ~/spnego.service.keytab en copiant krb5.conf, spnego.service.keytab pour accéder à l'interface utilisateur. Configurez le serveur de chronologie et Tez à partir de l'interface utilisateur d'Ambari :
    1. Accédez à Apache Ambari.
    2. Dans la barre d'outils latérale, sous Services, sélectionnez Tez.
    3. Sélectionnez Configurations.
    4. Dans l'onglet Avancé, mettez à jour les éléments suivants :
      Yarn-site.xml:
      yarn.timeline-service.enabled = true
yarn.timeline-service.hostname = un0Node
yarn.timeline-service.http-cross-origin.enabled = true
yarn.resourcemanager.system-metrics-publisher.enabled = true
yarn.timeline-service.address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:10200
yarn.timeline-service.webapp address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8188
yarn.timeline-service.webapp.https address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8190
yarn.timeline-service.handler-thread-count = 24
yarn.timeline-service.generic-application-history.enabled = true
yarn.timeline-service.http-cross-origin.allowed-origins = *
yarn.timeline-service.hostname = <uno-hostname>
      Tez-site.xml:
      tez.history.logging.service.class : org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
tez.tez-ui.history-url.base : http://144.25.40.156:8080/tez-ui-0.10.1/
yarn.timeline-service.enabled : true
tez.allow.disabled.timeline-domains : true
tez.am.history.logging.enabled : true
tez.dag.history.logging.enabled: true
tez.yarn.ats.enabled : true
  5. Redémarrez Yarn, Tez et Hive à partir du serveur Ambari.
  6. Redémarrez Tomcat. 
    yarn.timeline-service.enabled = true
yarn.timeline-service.hostname = un0Node
yarn.timeline-service.http-