Oracle Cloud Infrastructureドキュメント

ビッグ・データ・サービスのHAクラスタへのTezのデプロイ

ビッグ・データ・サービスHAクラスタにApache Tezをデプロイします。

  1. Tomcatの構成:Spark-Rangerプラグイン拡張機能
    1. Tomcatを次のリンクからダウンロードします: https://tomcat.apache.org/download-90.cgi。
    2. Tez Webサーバーをタイムライン・サーバーが実行されているノードにデプロイします。デフォルトのタイムライン・サーバー・ノードはmn1です。 
      sudo tar xf /tmp/apache-tomcat-9.0.70.tar.gz -C /opt/
sudo ln -s /opt/apache-tomcat-9.0.70 /opt/tomcat
  2. Tez-UI.warファイルを設定します。
    1. https://repo1.maven.org/maven2/org/apache/tez/tez-ui/0.10.1/からTez-ui-0.10.1.warをダウンロードします。
    2. warファイルを解凍し、/opt/tomcat/webappsにコピーします。 
      sudo cp /tmp/tez-ui-0.10.1.war /opt/tez/
sudo unzip /opt/tez/tez-ui-0.10.1.war -d /opt/tez/tez-ui
sudo cp -R /opt/tez/tez-ui /opt/tomcat/webapps/
    3. タイムライン・サーバーとリソース・マネージャの両方のホスト名で/opt/tomcat/webapps/tez-ui/config/config.jsを更新します。 
      ENV = {
  hosts: {
	timeline: "http://testcluster-mn1.testsubnet.testvcn.oraclevcn.com:8188",
	rm: "http://testcluster-mn0.testsubnet.testvcn.oraclevcn.com:8088",
}
};
  3. UIアクセス用にkrb5.conf、spnego.service.keytabをコピーして、~/spnego.service.keytabを使用したKinit。Ambari Uiからタイムライン・サーバーおよびTezを構成します。
    1. Apache Ambariにアクセスします。
    2. サイド・ツールバーの「サービス」で、「Tez」を選択します。
    3. 「構成」を選択します。
    4. 「詳細」タブで、次を更新します:
      Yarn-site.xml:
      yarn.timeline-service.generic-application-history.enabled : true

yarn.timeline-service.hostname : testcluster-mn1.testsubnet.testvcn.oraclevcn.com

yarn.timeline-service.http-cross-origin.allowed-origins : *
yarn.timeline-service.http-authentication.proxyuser.ambari-server.hosts=*
yarn.timeline-service.http-authentication.proxyuser.ambari-server.users=*
yarn.timeline-service.http-authentication.proxyuser.ambari-server.groups=*
      Tez-site.xml:
      tez.allow.disabled.timeline-domains : true
tez.am.history.logging.enabled : true
tez.dag.history.logging.enabled : true
tez.history.logging.service.class : org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService 

tez.tez-ui.history-url.base : http://testcluster-mn1.testsubnet.testvcn.oraclevcn.com:8080/tez-ui/

yarn.timeline-service.enabled :  true

tez.am.view-acls *
  4. AmbariサーバーからYarn、TezおよびHiveを再起動します。
  5. Tomcatを再起動します。 
    [root@tezui2un0 apache-tomcat-9.0.70]# ./bin/shutdown.sh

[root@tezui2un0 apache-tomcat-9.0.70]# ./bin/start.sh
  6. Kinitを実行します。
  7. Tez UI (http://daily-cluster-ha11-mn1.bmbdcsad1.bmbdcs.oraclevcn.com:8080/tez-ui/)を確認します。