| Oracle® Big Data SQLインストレーション・ガイド リリース3 (3.1) E83729-02 |
|
 前 |
 次 |
正常終了したOracle Big Data SQLインストールおよびアンインストールのフェーズごとにコンソール出力のサンプルを次に示します。setup-bds reconfigureオプションを使用した場合のサンプルも含まれています。これらの例は、操作の概要を示すことを目的としています。ご使用のシステムでの実際の出力では、異なる部分もあります。
setup-bdsを使用したHadoopクラスタでのインストール
Hadoopクラスタ管理サーバーのBDSSetupディレクトリからsetup-bds install bds-config.jsonをrootとして実行します。
[root@myclustermgmtserver: BDSSetup] # ./setup-bds install bds-config.json
次の例ではSCLを使用してPython 2.7を指定しています。SCLはOracle Big Data Applianceにあります。サポートされる他のCDHシステムまたはHDP上には存在しない場合もあります。
例:
次は、CDHシステムでのOracle Big Data SQLインストーラの出力を示しています。HDPの出力も同様です。クラスタ管理サービス管理者資格証明の入力を要求され、サービスが再起動されることに注意してください。ダウンロード・バンドル(このCDHの例ではBigDataSQL-CDH-3.1.0.zip)の解凍後、cdでBDSSetupディレクトリに移動し、必要なbds-config.jsonの編集を行ってから、./setup-bds install bds-config.jsonを実行します。
[root@myclusternode18 bds]# unzip -q BigDataSQL-CDH-3.1.0.zip [root@myclusternode18 bds]# cd BDSSetup/ [root@myclusternode18 BDSSetup]# vim bds-config.json [root@myclusternode18 BDSSetup]# scl enable python27 "./setup-bds install bds-config.json" BigDataSQL: FQDN: myclusternode18.us.mydomain.com. BigDataSQL: Hostname: myclusternode18.us.mydomain.com. BigDataSQL: Local directories at /root/bds/BDSSetup/deployment_manager/bigdata_platforms/cloudera. BigDataSQL: Verifying configuration parameters... BigDataSQL: Starting server... BigDataSQL: API protocol: https. BigDataSQL: API port: 7183. BigDataSQL: Waiting for server to respond... Admin User: admin Password: BigDataSQL: Authentication succeeded. BigDataSQL: API version: 15. BigDataSQL: Cluster type: BDA. // or other... BigDataSQL: Retrieving clusters... BigDataSQL: One cluster detected. BigDataSQL: Cluster name: mycluster. BigDataSQL: Cluster version: CDH5. BigDataSQL: Setting target cluster... BigDataSQL: Service: BIGDATASQL. BigDataSQL: Looking for configured port on the JSON config file... BigDataSQL: Testing port... BigDataSQL: Using port: 81. BigDataSQL: Local directories at /root/bds/BDSSetup/deployment_manager/bigdata_platforms/cloudera/services/bigdatasql. BigDataSQL: Verifying service configuration... BigDataSQL: Service TCP connection: True. BigDataSQL: Setting up related services... BigDataSQL: Setting up database... BigDataSQL: Setting up memory... BigDataSQL: Loading service state file... BigDataSQL: Distributing service packages... BigDataSQL: Copying CSD to Cloudera Manager. BigDataSQL: Restarting server... BigDataSQL: Waiting for agents to respond... BigDataSQL: Copying parcel repository to Cloudera Manager... BigDataSQL: Starting webserver... BigDataSQL: Waiting for server to respond... BigDataSQL: Waiting for parcel to respond BigDataSQL: Downloading parcel... Progress: 100 / 100 BigDataSQL: Distributing parcel... Progress: 300 / 300 BigDataSQL: Activating parcel... Progress: 0 / 0 BigDataSQL: Preparing service... BigDataSQL: Saving service state file. BigDataSQL: Setting up Hive auxiliary path... BigDataSQL: Adding bigdatasql service... BigDataSQL: Installing bigdatasql service... BigDataSQL: Starting bigdatasql service... BigDataSQL: Restarting cluster... BigDataSQL: Restarting Cloudera Management service... BigDataSQL: Creating database configuration... BigDataSQL: Downloading file from https://myclusternode18.us.mydomain.com:7183/cmf/command/1689/download. Progress [5424Kb] BigDataSQL: Download complete, file: /var/log/bigdatasql/DM/inspection.json. BigDataSQL: Cleaning up service... BigDataSQL: INSTALL workflow completed.
bds-database-create-bundle.shを使用したデータベース側のインストール・バンドルの生成
コマンド:
[root@myclustermgmtserver: db] # ./bds-database-create-bundle.sh
Hadoopクラスタ管理サーバーのBDSSetup/dbディレクトリから、このスクリプトをrootとして実行します。
例:
CDHシステムでの出力を次に示します。HDPの出力も同様です。クラスタ管理サービス管理者資格証明の入力を要求されることに注意してください。
ヒント:
プロキシの設定を忘れると、bds-database-create-bundle.shがインターネットに接続できなくなります。スクリプトを実行する前に次に示すようにプロキシを設定してください。 [root@myclusternode18 BDSSetup]# cd db [root@myclusternode18 db]# export http_proxy=<your proxy> [root@myclusternode18 db]# export https_proxy=<your proxy> [root@myclusternode18 db]# ./bds-database-create-bundle.sh bds-database-create-bundle: database bundle creation script started at : Tue Feb 28 22:04:28 PST 2017 bds-database-create-bundle: working directory : /root/bds/BDSSetup bds-database-create-bundle: Hadoop client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.10.0.tar.gz bds-database-create-bundle: Hive client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.10.0.tar.gz bds-database-create-bundle: HBase client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.10.0.tar.gz mkdir: created directory `/root/bds/BDSSetup/bds-database-install' bds-database-create-bundle: copying required files Management server credentials for download configuration files Userid : admin Password: bds-database-create-bundle: downloading yarn configuration file bds-database-create-bundle: downloading hive configuration file bds-database-create-bundle: downloading hadoop client tarball bds-database-create-bundle: downloading hive client tarball bds-database-create-bundle: downloading hbase client tarball bds-database-create-bundle: building bundles files bds-database-create-bundle: database bundle creation script completed all steps
bds-database-installを使用したOracle Databaseサーバーでのソフトウェアのインストール
コマンド:
[oracle@mydbserver: bds-database-install] $ ./bds-database-install.sh
クラスタ管理サーバーからデータベース・サーバーにbds-database-install.zipバンドルをコピーします。続いて、それを解凍してbds-database-install.shをoracleユーザーとして実行します。
このスクリプトにより、プライマリ・クラスタにOracle Big Data SQLがインストールされます。このスクリプトでcellinit*.oraファイルが変更された場合は、データベース・インスタンスを再起動する必要があります。
重要:
Oracle Databaseの各ノードでスクリプトを実行します例:
HDPシステムでの出力を次に示します。CDHの出力も同様です。条件によっては(「Oracle Databaseサーバーでのインストール」を参照)、Oracle Databaseの再起動を求められることに注意してください。
[oracle@mydomain21bda09 hdp24]$ unzip -q bds-database-install.zip [oracle@mydomain21bda09 hdp24]$ cd bds-database-install [mydomain@mydomain21bda09 bds-database-install]$ ./bds-database-install.sh bds-database-install: platform is : Linux bds-database-install: script started at : Tue Feb 28 22:22:05 PST 2017 bds-database-install: running location : /home/oracle/hdp24/bds-database-install bds-database-install: ORACLE_SID : orcl bds-database-install: ORACLE_HOME : /u03/app/oracle/product/12.1.0/dbhome_1 bds-database-install: Grid home : /u03/app/oracle/product/12.1.0/grid bds-database-install: configuration spfile : spfileorcl.ora bds-database-install: cluster type : hdp bds-database-install: running mode : software only bds-database-install: cluster name : HDP24 bds-database-install: dictionary cluster name : hdp24 bds-database-install: hadoop version : hadoop-2.7.1.2.4.0.0-169 bds-database-install: hive version : apache-hive-1.2.1000.2.4.0.0-169-bin bds-database-install: hbase version : hbase-1.1.2.2.4.0.0-169 bds-database-install: bds version : Big Data SQL 3.1.0 bds-database-install: bds install date : Wed Mar 1 01:00:47 2017 bds-database-install: bd_cell version : bd_cell-12.1.2.0.100_LINUX.X64_170227.1054-1.x86_64 bds-database-install: cell config dir : /etc/oracle/cell/network-config bds-database-install: hybrid cell model : false bds-database-install: cell network(s) : 180.168.41.9/21 bds-database-install: cellaffinity.ora file : missing bds-database-install: configured DB network : 11.122.17.217/21 bds-database-install: listener end point : EXTPROC1521 bds-database-install: db resource : orcl bds-database-install: database type : SINGLE bds-database-install: cardinality : 1 bds-database-install: mta extproc sid : bds_orcl_hdp24 bds-database-install: crs : true bds-database-install: cdb : true bds-database-install: action : setup bds-database-install: validating 11.122.17.217/21 against network interfaces bds-database-install: ping succeeded on all nodes, using 11.122.17.217/20 at bondeth0 instead /bin/mkdir: created directory `/u03/app/oracle/product/12.1.0/dbhome_1/bigdatasql' bds-database-install: installing JDK tarball bds-database-install: copying JCE policy jars bds-database-install: creating big data sql directories /bin/mkdir: created directory `bigdata_config_orcl' /bin/mkdir: created directory `hdp24' /bin/mkdir: created directory `default_dir_orcl' /bin/mkdir: created directory `log' /bin/mkdir: created directory `jlib' bds-database-install: removing old oracle bds jars if any bds-database-install: installing oracle bds jars bds-database-install: validating hadoop-2.7.1.2.4.0.0-169.tar.gz bds-database-install: validating apache-hive-1.2.1000.2.4.0.0-169-bin.tar.gz bds-database-install: validating hbase-1.1.2.2.4.0.0-169.tar.gz bds-database-install: unpacking hadoop-2.7.1.2.4.0.0-169.tar.gz bds-database-install: unpacking apache-hive-1.2.1000.2.4.0.0-169-bin.tar.gz bds-database-install: unpacking hbase-1.1.2.2.4.0.0-169.tar.gz bds-database-install: unpacking hadoop-2.7.1-nativelib-ol6.tar.gz bds-database-install: installing cluster configuration files bds-database-install: created bigdata.hosts bds-database-install: creating /u03/app/oracle/product/12.1.0/dbhome_1/bigdatasql/hadoop_hdp24.env for hdfs/mapred client access bds-database-install: creating bds property files bds-database-install: created bigdata.properties bds-database-install: created bigdata-log4j.properties bds-database-install: creating default and cluster directories needed by big data external tables catcon: ALL catcon-related output will be written to bds-database-install-3617-directory-creation_catcon_4435.lst catcon: See bds-database-install-3617-directory-creation*.log files for output generated by scripts catcon: See bds-database-install-3617-directory-creation_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-install: granted default and cluster directories to BDSQL_USER role bds-database-install: mta will be setup bds-database-install: creating /u03/app/oracle/product/12.1.0/dbhome_1/hs/admin/initbds_orcl_hdp24.ora bds-database-install: mta shutdown bds_orcl_hdp24 ORA-28593: agent control utility: command terminated with error bds-database-install: removing existing mta parameter settings bds-database-install: stopping crs resource bds_orcl_hdp24 bds-database-install: deleting crs resource bds_orcl_hdp24 bds-database-install: registering crs resource bds_orcl_hdp24 bds-database-install: using dependency db resource of orcl bds-database-install: starting crs resource bds_orcl_hdp24 bds-database-install: patching view LOADER_DIR_OBJS catcon: ALL catcon-related output will be written to bds-database-install-3617-patch-view_catcon_5016.lst catcon: See bds-database-install-3617-patch-view*.log files for output generated by scripts catcon: See bds-database-install-3617-patch-view_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-install: creating mta dblinks catcon: ALL catcon-related output will be written to bds-database-install-3617-create-links_catcon_5042.lst catcon: See bds-database-install-3617-create-links*.log files for output generated by scripts catcon: See bds-database-install-3617-create-links_*.lst files for spool files, if any catcon.pl: completed successfully catcon: ALL catcon-related output will be written to bds-database-install-3617-alter-system_catcon_5064.lst catcon: See bds-database-install-3617-alter-system*.log files for output generated by scripts catcon: See bds-database-install-3617-alter-system_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-install: setup cell contiguration bds-database-install: updating cellinit.ora ip address bds-database-install: enabling subnetwork searching for cluster connection in cellinit.ora bds-database-install: enabling UDP protocol for cluster connection in cellinit.ora bds-database-install: creating celliniteth.ora bds-database-install: cellaffinity.ora already disabled database instance needs to be restarted, enter <yes> for restart it now or <no> for restart it later: bds-database-install: restarting database instance bds-database-install: waiting upto 100 seconds for new diskmon process to startup ..ok bds-database-install: stoping crs resource bds_orcl_hdp24 bds-database-install: starting crs resource bds_orcl_hdp24 bds-database-install: installation successful for cluster HDP24 bds-database-install: log files in /u03/app/oracle/product/12.1.0/dbhome_1/install bds-database-install: bds-database-install-3617-* files for more detailed info bds-database-install: full log in bds-database-install-3617-main-script.log
bds-database-install.shを使用したOracle Big Data SQLのアンインストール
コマンド:
./bds-database-install.sh --uninstall-as-primary // or --uninstall-as-secondary
--uninstall-as-primaryまたは--uninstall-as-secondaryをいつ使用するかについては、「プライマリ・インストールとセカンダリ・インストール」を参照してください。
例:
[oracle@mydomain21bda09 bds-database-install]$ ./bds-database-install.sh --uninstall-as-primary bds-database-install: platform is : Linux bds-database-install: script started at : Tue Feb 28 22:26:07 PST 2017 bds-database-install: running location : /home/oracle/hdp24/bds-database-install bds-database-install: ORACLE_SID : orcl bds-database-install: ORACLE_HOME : /u03/app/oracle/product/12.1.0/dbhome_1 bds-database-install: Grid home : /u03/app/oracle/product/12.1.0/grid bds-database-install: configuration spfile : spfileorcl.ora bds-database-install: cluster type : hdp bds-database-install: running mode : software only bds-database-install: cluster name : HDP24 bds-database-install: dictionary cluster name : hdp24 bds-database-install: hadoop version : hadoop-2.7.1.2.4.0.0-169 bds-database-install: hive version : apache-hive-1.2.1000.2.4.0.0-169-bin bds-database-install: hbase version : hbase-1.1.2.2.4.0.0-169 bds-database-install: bds version : Big Data SQL 3.1.0 bds-database-install: bds install date : Wed Mar 1 01:00:47 2017 bds-database-install: bd_cell version : bd_cell-12.1.2.0.100_LINUX.X64_170227.1054-1.x86_64 bds-database-install: cell config dir : /etc/oracle/cell/network-config bds-database-install: hybrid cell model : false bds-database-install: cell network(s) : 180.168.41.9/21 bds-database-install: allow multiple subnets : _skgxp_ant_options=1 bds-database-install: use UDP protocol : _skgxp_dynamic_protocol=2 bds-database-install: cellaffinity.ora file : missing bds-database-install: configured DB network : 11.122.17.217/21 bds-database-install: listener end point : EXTPROC1521 bds-database-install: db resource : orcl bds-database-install: database type : SINGLE bds-database-install: cardinality : 1 bds-database-install: mta extproc sid : bds_orcl_hdp24 bds-database-install: crs : true bds-database-install: cdb : true bds-database-install: action : uninstall primary bds-database-uninstall: mta shutdown bds_orcl_hdp24 bds-database-uninstall: removing existing mta parameter settings bds-database-uninstall: stopping crs resource bds_orcl_hdp24 bds-database-uninstall: deleting crs resource bds_orcl_hdp24 bds-database-uninstall: removing /u03/app/oracle/product/12.1.0/dbhome_1/hs/admin/initbds_orcl_hdp24.ora bds-database-uninstall: dropping mta related db links catcon: ALL catcon-related output will be written to bds-database-install-6467-destroymtalink_catcon_6955.lst catcon: See bds-database-install-6467-destroymtalink*.log files for output generated by scripts catcon: See bds-database-install-6467-destroymtalink_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-uninstall: dropping mta related db directory catcon: ALL catcon-related output will be written to bds-database-install-6467-destroymtadirectory_catcon_6981.lst catcon: See bds-database-install-6467-destroymtadirectory*.log files for output generated by scripts catcon: See bds-database-install-6467-destroymtadirectory_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-uninstall: dropping mta default db link and directory catcon: ALL catcon-related output will be written to bds-database-install-6467-uninstall_catcon_7006.lst catcon: See bds-database-install-6467-uninstall*.log files for output generated by scripts catcon: See bds-database-install-6467-uninstall_*.lst files for spool files, if any catcon.pl: completed successfully bds-database-uninstall: removing bds jars bds-database-uninstall: removing hadoop client hadoop-2.7.1.2.4.0.0-169 bds-database-uninstall: removing hive client apache-hive-1.2.1000.2.4.0.0-169-bin bds-database-uninstall: removing hbase client hbase-1.1.2.2.4.0.0-169 bds-database-uninstall: removing bds configuration files bds-database-uninstall: removing default_dir_orcl bds-database-uninstall: removing jdk bds-database-uninstall: removing client configuration files bds-database-uninstall: uninstall successful for cluster HDP24 bds-database-uninstall: log files in /u03/app/oracle/product/12.1.0/dbhome_1/install bds-database-uninstall: bds-database-install-6467-* files for more detailed info bds-database-uninstall: full log in bds-database-install-6467-main-script.log
setup-bds reconfigureを使用したOracle Big Data ApplianceクラスタでのOracle Big Data SQLの再構成
この例では、InfiniBand接続からイーサネット接続への変更を示していますが、いずれの構成変更でもメソッドは同じです。Hadoopクラスタ管理サーバーで、bds-config.jsonに必要な変更を行います。続いて、/setup-bds reconfigure bds-config.jsonを実行してHadoop側を再構成します。次に、bds-database-create-bundle.sh --reconfigureを使用してデータベース・バンドルを再構成します。完了したら、新しいデータベース・バンドルをデータベースの各ノードにコピーし、それを解凍してアンインストール・スクリプトを実行します。この例には、データベース側でのスクリプトの実行は含まれていません。
コマンド:
# ./setup-bds reconfigure bds-config.json # ./bds-database-create-bundle.sh --reconfigure
例:
デフォルトのPythonのかわりに、SCLを使用してPython 2.7を指定している点に注意してください。SCLはOracle Big Data Appliance上にありますが、他のHadoopシステムには存在しない場合があります。
クラスタ管理サーバーの管理者アカウントのパスワードが必要です。
[root@mydomain21mynode18 BDSSetup]# scl enable python27 "./setup-bds reconfigure bds-config.json" BigDataSQL: FQDN: mydomain21mynode18.us.mycompany.com. BigDataSQL: Hostname: mydomain21mynode18.us.mycompany.com. BigDataSQL: Local directories at /root/bds/BDSSetup/deployment_manager/bigdata_platforms/cloudera. BigDataSQL: Verifying configuration parameters... BigDataSQL: Starting server... BigDataSQL: API protocol: https. BigDataSQL: API port: 7183. BigDataSQL: Waiting for server to respond... Admin User: admin Password: BigDataSQL: Authentication succeeded. BigDataSQL: API version: 15. BigDataSQL: Cluster type: BDA. BigDataSQL: Retrieving clusters... BigDataSQL: One cluster detected. BigDataSQL: Cluster name: mycluster. BigDataSQL: Cluster version: CDH5. BigDataSQL: Setting target cluster... BigDataSQL: Service: BIGDATASQL. BigDataSQL: Looking for configured port on the JSON config file... BigDataSQL: Testing port... BigDataSQL: Using port: 81. BigDataSQL: Local directories at /root/bds/BDSSetup/deployment_manager/bigdata_platforms/cloudera/services/bigdatasql. BigDataSQL: Verifying service configuration... BigDataSQL: Service TCP connection: False. BigDataSQL: Setting up related services... BigDataSQL: Setting up database... BigDataSQL: Setting up memory... BigDataSQL: Loading service state file... BigDataSQL: Reconfigure service... BigDataSQL: Reconfigure bigdatasql service... BigDataSQL: Restarting bigdatasql service... BigDataSQL: Creating database configuration... BigDataSQL: Downloading file from https://mydomain21mynode18.us.mycompany.com:7183/cmf/command/1717/download. Progress [5424Kb] BigDataSQL: Download complete, file: /var/log/bigdatasql/DM/inspection.json. BigDataSQL: Cleaning up service... BigDataSQL: RECONFIGURE workflow completed. [root@mydomain21mynode18 BDSSetup]# cd db [root@mydomain21mynode18 db]# ./bds-database-create-bundle.sh --reconfigure bds-database-create-bundle: database bundle creation script started at : Tue Feb 28 22:41:13 PST 2017 bds-database-create-bundle: working directory : /root/bds/BDSSetup bds-database-create-bundle: Hadoop client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.10.0.tar.gz bds-database-create-bundle: Hive client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.10.0.tar.gz bds-database-create-bundle: HBase client download url : http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.10.0.tar.gz bds-database-create-bundle: copying required files Management server credentials for download configuration files Userid : admin Password: bds-database-create-bundle: downloading yarn configuration file bds-database-create-bundle: downloading hive configuration file bds-database-create-bundle: building bundles files bds-database-create-bundle: database bundle creation script completed all steps
