ビッグ・データ・サービス非HAクラスタへのTezのデプロイ
ビッグ・データ・サービス非HAクラスタにApache Tezをデプロイします。
-
Tomcatを構成します。
- Tomcatを次のリンクからダウンロードします: https://tomcat.apache.org/download-90.cgi。
-
Tez Webサーバーをタイムライン・サーバーが実行されているノードにデプロイします。デフォルトのタイムライン・サーバー・ノードはmn1です。
sudo tar xf /tmp/apache-tomcat-9.0.70.tar.gz -C /opt/ sudo ln -s /opt/apache-tomcat-9.0.70 /opt/tomcat
-
Tomcatサービスを開始します。
bin/startup.sh
-
Tomcatサービスを停止します。
bin/shutdown.sh
-
Tez-UI.war
ファイルを設定します。-
https://repo1.maven.org/maven2/org/apache/tez/tez-ui/0.10.1/から
Tez-ui-0.10.1.war
をダウンロードします。 -
warファイルを解凍し、
/opt/tomcat/webapps
にコピーします。sudo cp /tmp/tez-ui-0.10.1.war /opt/tez/ sudo unzip /opt/tez/tez-ui-0.10.1.war -d /opt/tez/tez-ui sudo cp -R /opt/tez/tez-ui /opt/tomcat/webapps/
-
タイムライン・サーバーとリソース・マネージャの両方のホスト名で
/opt/tomcat/webapps/tez-ui/config/config.js
を更新します。ENV = { hosts: { timelineBaseUrl: 'http://144.25.40.156:8188', RMWebUrl: 'http://144.25.39.192:8088', } };
-
https://repo1.maven.org/maven2/org/apache/tez/tez-ui/0.10.1/から
-
assets/tez-ui.js
のタイムラインおよびresourcemanager IPを更新します。timeline":"localhost:8188","rm":"localhost:8088"} should be updated with below details timeline : 144.25.40.156:8188","rm":"144.25.39.192:8088"}
-
UIアクセス用に
krb5.conf
、spnego.service.keytab
をコピーして、~/spnego.service.keytab
を使用したKinit。Ambari UIからタイムライン・サーバーおよびTezを構成します。- Apache Ambariにアクセスします。
- サイド・ツールバーの「サービス」で、「Tez」を選択します。
- 「構成」を選択します。
-
「詳細」タブで、次を更新します:
Yarn-site.xml:
yarn.timeline-service.enabled = true yarn.timeline-service.hostname = un0Node yarn.timeline-service.http-cross-origin.enabled = true yarn.resourcemanager.system-metrics-publisher.enabled = true yarn.timeline-service.address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:10200 yarn.timeline-service.webapp address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8188 yarn.timeline-service.webapp.https address = un0.bmbdcsad1.bmbdcs.oraclevcn.com:8190 yarn.timeline-service.handler-thread-count = 24 yarn.timeline-service.generic-application-history.enabled = true yarn.timeline-service.http-cross-origin.allowed-origins = * yarn.timeline-service.hostname = <uno-hostname>
Tez-site.xml:
tez.history.logging.service.class : org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService tez.tez-ui.history-url.base : http://144.25.40.156:8080/tez-ui-0.10.1/ yarn.timeline-service.enabled : true tez.allow.disabled.timeline-domains : true tez.am.history.logging.enabled : true tez.dag.history.logging.enabled: true tez.yarn.ats.enabled : true
- AmbariサーバーからYarn、TezおよびHiveを再起動します。
-
Tomcatを再起動します。
yarn.timeline-service.enabled = true yarn.timeline-service.hostname = un0Node yarn.timeline-service.http-