ビッグ・データ・サービス非HAクラスタへのTezのデプロイ

ビッグ・データ・サービス非HAクラスタにApache Tezをデプロイします。

  1. Tomcatを構成します。
    1. Tomcatを次のリンクからダウンロードします: https://tomcat.apache.org/download-90.cgi
    2. Tez Webサーバーをタイムライン・サーバーが実行されているノードにデプロイします。デフォルトのタイムライン・サーバー・ノードはmn1です。
      sudo tar xf /tmp/apache-tomcat-9.0.70.tar.gz -C /opt/
      sudo ln -s /opt/apache-tomcat-9.0.70 /opt/tomcat
    3. Tomcatサービスを開始します。
      bin/startup.sh
    4. Tomcatサービスを停止します。
      bin/shutdown.sh
  2. Tez-UI.warファイルを設定します。
    1. https://repo1.maven.org/maven2/org/apache/tez/tez-ui/0.10.1/からTez-ui-0.10.1.warをダウンロードします。
    2. warファイルを解凍し、/opt/tomcat/webappsにコピーします。
      sudo cp /tmp/tez-ui-0.10.1.war /opt/tez/
      sudo unzip /opt/tez/tez-ui-0.10.1.war -d /opt/tez/tez-ui
      sudo cp -R /opt/tez/tez-ui /opt/tomcat/webapps/
    3. タイムライン・サーバーとリソース・マネージャの両方のホスト名で/opt/tomcat/webapps/tez-ui/config/config.jsを更新します。
      ENV = {
        hosts: {
      	timelineBaseUrl: 'http://144.25.40.156:8188',
      	RMWebUrl: 'http://144.25.39.192:8088',
      }
      }; 
  3. assets/tez-ui.jsのタイムラインおよびresourcemanager IPを更新します。
    timeline":"localhost:8188","rm":"localhost:8088"}    should be updated with below details
    timeline : 144.25.40.156:8188","rm":"144.25.39.192:8088"} 
  4. UIアクセス用にkrb5.confspnego.service.keytabをコピーして、~/spnego.service.keytabを使用したKinit。Ambari UIからタイムライン・サーバーおよびTezを構成します。
    1. Apache Ambariにアクセスします。
    2. サイド・ツールバーの「サービス」で、「Tez」を選択します。
    3. 「構成」を選択します。
    4. 「詳細」タブで、次を更新します:
      Yarn-site.xml:
      yarn.timeline-service.enabled = true
      yarn.timeline-service.hostname = un0Node
      yarn.timeline-service.http-cross-origin.enabled = true
      yarn.resourcemanager.system-metrics-publisher.enabled = true
      yarn.timeline-service.address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:10200
      yarn.timeline-service.webapp address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8188
      yarn.timeline-service.webapp.https address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8190
      yarn.timeline-service.handler-thread-count = 24
      yarn.timeline-service.generic-application-history.enabled = true
      yarn.timeline-service.http-cross-origin.allowed-origins = *
      yarn.timeline-service.hostname = <uno-hostname>
      Tez-site.xml:
      tez.history.logging.service.class : org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
      tez.tez-ui.history-url.base : http://144.25.40.156:8080/tez-ui-0.10.1/
      yarn.timeline-service.enabled : true
      tez.allow.disabled.timeline-domains : true
      tez.am.history.logging.enabled : true
      tez.dag.history.logging.enabled: true
      tez.yarn.ats.enabled : true
  5. AmbariサーバーからYarn、TezおよびHiveを再起動します。
  6. Tomcatを再起動します。
    yarn.timeline-service.enabled = true
    yarn.timeline-service.hostname = un0Node
    yarn.timeline-service.http-