Sun Cluster 软件安装指南(适用于 Solaris OS)

第 4 章 SPARC: 安装和配置 VERITAS Volume Manager

请使用本章中的过程以及规划卷管理 中的规划信息为 VERITAS Volume Manager (VxVM) 安装和配置本地和多主机磁盘。 有关详细信息,请参阅 VxVM 文档。

本章中包含以下信息和过程:

SPARC: 安装和配置 VxVM 软件

本节提供了在 Sun Cluster 配置中安装和配置 VxVM 软件的信息和过程。

SPARC: 任务对应关系:安装和配置 VxVM 软件

下表列出了为 Sun Cluster 配置而安装和配置 VxVM 软件所需执行的任务。

表 4–1 SPARC: 任务对应关系:安装和配置 VxVM 软件

任务 

说明 

1. 规划 VxVM 配置的布局。  

规划卷管理

2. 确定如何在每个节点上创建根磁盘组。 

SPARC: 设置根磁盘组概述

3. 安装 VxVM 软件并创建根磁盘组: 

  • 方法 1 – 使用 scvxinstall 命令安装 VxVM 软件并封装根磁盘,以及(可选)镜像封装的根磁盘。

  1. SPARC: 如何安装 VERITAS Volume Manager 软件和封装根磁盘

  2. SPARC: 如何镜像封装的根磁盘

  • 方法 2 – 在本地非根磁盘上安装 VxVM 软件并创建根磁盘组。

  1. SPARC: 如何只安装 VERITAS Volume Manager 软件

  2. SPARC: 如何在非根磁盘上创建根磁盘组

4. 创建磁盘组和卷。 

SPARC: 如何创建并注册磁盘组

5. 如果需要,请通过分配新的次编号来解决磁盘设备组之间的次编号冲突。 

SPARC: 如何给磁盘设备组指定新的次编号

6. 检验磁盘组和卷。 

SPARC: 如何检验磁盘组配置

7. 配置群集。 

配置群集

SPARC: 设置根磁盘组概述

安装 VxVM 之后,每个群集节点都要求创建一个根磁盘组。 VxVM 使用该磁盘组存储配置信息,并受以下限制。

Sun Cluster 软件支持下列配置根磁盘组的方法。

有关详细信息,请参阅 VxVM 安装文档。

SPARC: 从此处可转到何处

选择以下安装方法之一来安装 VxVM,这取决于您要如何创建根磁盘组。

SPARC: 如何安装 VERITAS Volume Manager 软件和封装根磁盘

该过程使用 scvxinstall(1M) 命令一次性完成 VxVM 软件的安装和根磁盘的封装。


注意:

如果要在本地非根磁盘上创建根磁盘组,则应转到SPARC: 如何只安装 VERITAS Volume Manager 软件


对要安装 VxVM 的每个节点执行该过程。 可以在群集的所有节点上安装 VERITAS Volume Manager (VxVM),也可以只将 VxVM 安装在与其要管理的存储设备具有物理连接的那些节点上。

如果稍后需要取消根磁盘的封装,请按照SPARC: 如何取消根磁盘的封装 中的过程进行操作。

  1. 确保群集满足下列先决条件。

    • 群集中的所有节点均以群集模式运行。

    • 要安装的节点的根磁盘具有两个空闲(未分配)分区。

  2. 获取下列信息:

  3. 成为要安装 VxVM 的节点上的超级用户。

  4. 将 VxVM CD-ROM 放入节点上的 CD-ROM 驱动器中。

  5. 以交互式模式启动 scvxinstall

    无论何时按 Ctrl-C 都会异常终止 scvxinstall 命令。


    # scvxinstall
    

    有关详细信息,请参阅 scvxinstall(1M) 手册页。

  6. 当得到提示询问是否封装根时,键入 yes


    Do you want Volume Manager to encapsulate root [no]? y
    

  7. 得到提示时,提供 VxVM CD-ROM 的位置。

    • 如果找到相应的 VxVM CD-ROM,该位置将显示为提示中以括号括起的部分。 按 Enter 键接受此缺省位置。


      Where is the volume manager cdrom [default]?

    • 如果未找到 VxVM CD-ROM,则显示提示时不带缺省位置。 键入 CD-ROM 或 CD-ROM 映像的位置。


      Where is the volume manager cdrom?

  8. 得到提示时,键入 VxVM 许可证密钥。


    Please enter license key: license
    

    scvxinstall 命令自动执行下列任务:

    • 安装所需的 VxVM 软件、许可和手册页软件包,但不要安装 GUI 软件包

    • 选择群集范围内的 vxio 驱动程序主编号

    • 通过封装根磁盘来创建根磁盘组

    • 更新 /etc/vfstab 文件中的 /global/.devices 条目

    有关详细信息,请参阅 scvxinstall(1M) 手册页。


    注意:

    安装过程中会自动重新启动两次。 所有安装任务都完成之后,scvxinstall 会第二次自动重新引导节点,除非您在得到提示后按 Ctrl-C。 如果按 Ctrl-C 使第二次重新引导异常终止,稍后必须重新引导该节点才能完成 VxVM 的安装。


  9. 如果要启用 VxVM 群集功能,请提供群集功能许可证密钥。

    有关如何添加许可证的信息,请参阅 VxVM 文档。

  10. (可选的) 安装 VxVM GUI。

    有关安装 VxVM GUI 的信息,请参阅 VxVM 文档。

  11. 弹出 CD-ROM。

  12. 安装所有 VxVM 修补程序。

    有关修补程序和安装说明的位置,请参阅《Sun Cluster 3.1 发行说明》中的“修补程序和所需的固件级别”。

  13. (可选的) 如果不希望在群集节点上保存 VxVM 手册页,请删除手册页软件包。


    # pkgrm VRTSvmman
    

  14. 是否要在其它节点上安装 VxVM?

  15. 是否不希望在一个或多个节点上安装 VxVM?


    注意:

    如果要启用 VxVM 群集功能,则必须在群集的所有节点上安装 VxVM。


  16. 在每个非 VxVM 节点上修改 /etc/name_to_major 文件。

    1. 在安装了 VxVM 的节点上,确定 vxio 主编号设置。


      # grep vxio /etc/name_to_major
      

    2. 成为不要安装 VxVM 的节点上的超级用户。

    3. 编辑 /etc/name_to_major 文件并添加一个条目,以便将 vxio 主编号设置为 NNN(即在步骤 a中得出的编号)。


      # vi /etc/name_to_major
      vxio NNN
      

    4. 初始化 vxio 条目。


      # drvconfig -b -i vxio -m NNN
      

    5. 不要安装 VxVM 的所有其它节点上重复步骤 b步骤 d

      完成后,群集中的每个节点在其 /etc/name_to_major 文件中应具有相同的 vxio 条目。

  17. 是否打算镜像封装的根磁盘?

SPARC: 如何镜像封装的根磁盘

安装 VxVM 并封装根磁盘之后,请在镜像封装的根磁盘的每个节点上执行该过程。

  1. 镜像封装的根磁盘。

    按照 VxVM 文档中的步骤操作。 为了获得最高可用性并简化管理,使用本地磁盘进行镜像。 有关其他指导信息,请参阅镜像根磁盘指南


    Caution – Caution –

    不要使用定额设备镜像根磁盘。 在某些情况下,使用定额设备镜像根磁盘可能会使节点不从根磁盘镜像启动。


  2. 显示 DID 映射。


    # scdidadm -L
    

  3. 从 DID 映射中找到要用于镜像根磁盘的磁盘。

  4. 从根磁盘镜像的设备 ID 名称中提取原始磁盘设备组名称。

    原始磁盘设备组的名称遵循惯例 dsk/dN,其中 N 是数字。 在以下输出中,从中提取原始磁盘设备组名称的那部分 scdidadm 输出行用黑体突出显示。


    N         node:/dev/rdsk/cNtXdY     /dev/did/rdsk/dN
    

  5. 查看原始磁盘设备组的节点列表。

    输出类似于以下内容。


    # scconf -pvv | grep dsk/dN
    Device group name:						dsk/dN
    …
     (dsk/dN) Device group node list:		phys-schost-1, phys-schost-3
    …

  6. 节点列表是否包含多个节点名称?

  7. 从原始磁盘设备组的节点列表中删除所有节点,镜像了其根磁盘的节点除外

    在节点列表中仅保留已镜像根磁盘的那个节点。


    # scconf -r -D name=dsk/dN,nodelist=node
    
    -D name=dsk/dN

    指定原始磁盘设备组在群集范围内唯一的名称

    nodelist=node

    指定要从节点列表中删除的一个节点或多个节点的名称

  8. 启用原始磁盘设备组的 localonly 特性。

    启用 localonly 特性之后,该原始磁盘设备组将由其节点列表中的节点专用。 如果引导设备与多个节点连接,则启用该特性可以防止意外地将节点与其引导设备隔开。


    # scconf -c -D name=dsk/dN,localonly=true
    

    有关 localonly 特性的详细信息,请参阅 scconf_dg_rawdisk(1M) 手册页。

  9. 对群集中要镜像其已封装的根磁盘的每个节点重复该过程的操作。

  10. 创建磁盘组。

    转到SPARC: 如何创建并注册磁盘组

SPARC: 示例 — 镜像已封装的根磁盘

以下示例显示了为节点 phys-schost-1 的根磁盘所创建的一个镜像。 该镜像在磁盘 c1t1d0 上创建,其原始磁盘设备组名称为 dsk/d2。 磁盘 c1t1d0 是多端口磁盘,因此,已从该磁盘的节点列表中删除节点 phys-schost-3 并启用 localonly 特性。


(显示 DID 映射)
# scdidadm -L 
…
2        phys-schost-1:/dev/rdsk/c1t1d0 /dev/did/rdsk/d2   
2        phys-schost-3:/dev/rdsk/c1t1d0 /dev/did/rdsk/d2   
…
 
(显示镜像磁盘的原始磁盘设备组的节点列表)
# scconf -pvv | grep dsk/d2
Device group name:						dsk/d2
…
  (dsk/d2) Device group node list:		phys-schost-1, phys-schost-3
…
 
(从节点列表中删除 phys-schost-3)
# scconf -r -D name=dsk/d2,nodelist=phys-schost-3
  
(启用 localonly 特性)
# scconf -c -D name=dsk/d2,localonly=true

SPARC: 如何只安装 VERITAS Volume Manager 软件

此过程使用 scvxinstall 命令以便只安装 VERITAS Volume Manager (VxVM) 软件。


注意:

要通过封装根磁盘来创建根磁盘组,请不要使用该过程。 而应转到SPARC: 如何安装 VERITAS Volume Manager 软件和封装根磁盘 ,通过一次操作完成 VxVM 软件的安装和根磁盘的封装。


对要安装 VxVM 的每个节点执行该过程。 可以在群集的所有节点上安装 VxVM,也可以只将 VxVM 安装在与其管理的存储设备具有物理连接的那些节点上。

  1. 确保群集中的所有节点均以群集模式运行。

  2. 成为要安装 VxVM 的群集节点上的超级用户。

  3. 将 VxVM CD-ROM 放入节点上的 CD-ROM 驱动器中。

  4. 在非交互式安装模式下启动 scvxinstall


    # scvxinstall -i
    

    scvxinstall 命令自动执行下列任务。

    • 安装所需的 VxVM 软件、许可和手册页软件包,但不要安装 GUI 软件包

    • 选择群集范围内的 vxio 驱动程序主编号


    注意:

    在下一个过程SPARC: 如何在非根磁盘上创建根磁盘组 中添加 VxVM 许可证。


    有关信息,请参阅 scvxinstall(1M) 手册页。

  5. (可选的) 安装 VxVM GUI。

    有关安装 VxVM GUI 的信息,请参阅 VxVM 文档。

  6. 弹出 CD-ROM。

  7. 安装所有 VxVM 修补程序。

    有关修补程序和安装说明的位置,请参阅《Sun Cluster 3.1 发行说明》中的“修补程序和所需的固件级别”。

  8. (可选的) 如果不希望在群集节点上保存 VxVM 手册页,请删除手册页软件包。


    # pkgrm VRTSvmman
    

  9. 是否要在其它节点上安装 VxVM?

  10. 是否不希望在一个或多个节点上安装 VxVM?


    注意:

    如果要启用 VxVM 群集功能,必须在群集的所有节点上安装 VxVM。


  11. 修改每个非 VxVM 节点上的 /etc/name_to_major 文件。

    1. 在安装了 VxVM 的节点上,确定 vxio 主编号设置。


      # grep vxio /etc/name_to_major
      

    2. 成为不希望安装 VxVM 的节点上的超级用户。

    3. 编辑 /etc/name_to_major 文件并添加一个条目,以便将 vxio 主编号设置为 NNN(即在步骤 a 中得出的编号)。


      # vi /etc/name_to_major
      vxio NNN
      

    4. 初始化 vxio 条目。


      # drvconfig -b -i vxio -m NNN
      

    5. 不希望安装 VxVM 的所有其它节点上重复步骤 a步骤 c

      完成后,群集中的每个节点在其 /etc/name_to_major 文件中应具有相同的 vxio 条目。

  12. 创建根磁盘组。

    转到SPARC: 如何在非根磁盘上创建根磁盘组

SPARC: 如何在非根磁盘上创建根磁盘组

使用此过程,通过封装或初始化本地磁盘而不是根磁盘来创建根磁盘组。

  1. 获得 VERITAS Volume Manager (VxVM) 许可证密钥。

  2. 成为节点的超级用户。

  3. (可选的) 如果要封装磁盘,则确保每个磁盘至少有两个具有 0 柱面的磁盘片。

    如果需要,使用 format(1M) 命令来为每个 VxVM 盘片分配 0 柱面。

  4. 启动 vxinstall 公用程序。


     # vxinstall
    

    得到提示后,执行下列选择或输入。

    • 提供 VxVM 许可证密钥。

    • 如果要启用 VxVM 群集功能,请提供群集功能许可证密钥。

    • 选择定制安装。

    • 不要封装引导磁盘。

    • 选择要添加到根磁盘组的所有磁盘。

    • 不要接受自动重新引导。

  5. 创建的根磁盘组是否包含一个或多个连接到多个节点的磁盘?

    • 如果是,启用根磁盘组中的这些共享磁盘的原始磁盘设备组的 localonly 特性。

      启用 localonly 特性后,该原始磁盘设备组就由其节点列表中的节点专用。 如果根磁盘组使用的设备与多个节点连接,则启用该特性可以防止意外地将节点与该设备隔开。


      # scconf -c -D name=dsk/dN,localonly=true
      

      有关 localonly 特性的详细信息,请参阅 scconf_dg_rawdisk(1M) 手册页。

    • 如果否,则继续执行步骤 6

  6. 从节点清空任何资源组或设备组。


    # scswitch -S -h from-node
    
    -S

    清空所有资源组和设备组

    -h from-node

    指定要清空资源组或设备组的节点的名称

  7. 重新引导该节点。


    # shutdown -g0 -y -i6
    

  8. 使用 vxdiskadm 命令以将多个磁盘添加到根磁盘组中。

    如果根磁盘组包含多个磁盘,则该磁盘组具有磁盘容错功能。 有关步骤,请参阅 VxVM 文档。

  9. 创建磁盘组。

    转到SPARC: 如何创建并注册磁盘组

SPARC: 如何创建并注册磁盘组

请使用此过程创建 VxVM 磁盘组和卷。


注意:

磁盘组在群集中注册为磁盘设备组之后,请勿使用 VxVM 命令输入或清除 VxVM 磁盘组。 Sun Cluster 软件可以处理所有需要输入或清除磁盘组的情况。 有关如何管理 Sun Cluster 磁盘设备组的步骤,请参阅 Sun Cluster System Administration Guide for Solaris OS 中的 “Administering Disk Device Groups”


从一个节点执行此过程,该节点与组成要添加的磁盘组的各个磁盘具备物理连接。

  1. 获取下列信息:

  2. 成为将拥有磁盘组的节点的超级用户。

  3. 创建 VxVM 磁盘组和卷。

    如果要安装 Oracle Parallel Server/Real Application Clusters,请按照 VERITAS Volume Manager Administrator's Reference Guide 中的说明使用 VxVM 群集功能来创建共享 VxVM 磁盘组。 否则,使用 VxVM 文档中介绍的标准步骤来创建 VxVM 磁盘组。


    注意:

    可以使用“脏区域记录 (DRL)”来缩短节点失败时的卷恢复时间。 但是,使用 DRL 可能减少 I/O 吞吐量。


  4. 是否启用了 VxVM 群集功能?

    • 如果不是,请继续执行步骤 5

    • 如果是,则跳到步骤 7。 如果启用了 VxVM 群集功能,则不要将共享磁盘组注册为 Sun Cluster 磁盘设备组。

  5. 将磁盘组注册为 Sun Cluster 磁盘设备组。

    1. 启动 scsetup(1M) 公用程序。


      # scsetup
      

    2. 要使用磁盘设备组,键入 4(设备组和卷)。

    3. 要注册磁盘设备组,键入 1(注册 VxVM 磁盘组)。

      按照说明键入要注册为 Sun Cluster 磁盘设备组的 VxVM 磁盘设备组。

    4. 如果在尝试注册磁盘设备组时出现以下错误消息,则需要为磁盘设备组重编次编号。


      scconf: Failed to add device group - in use

      要为磁盘设备组重编次编号,请使用SPARC: 如何给磁盘设备组指定新的次编号 这一过程。 此过程使您能够分配一个新的次编号,该编号不与现有磁盘设备组所使用的次编号冲突。

    5. 完成后,键入 q(退出)以退出 scsetup 公用程序。

  6. 检验磁盘设备组是否已注册。

    使用以下命令查看所显示的新磁盘的磁盘设备信息。


     # scstat -D
    


    提示:

    如果在使磁盘设备组联机时发生栈溢出,则可能是线程栈大小的缺省值不足。 将下列条目添加到每个节点的 /etc/system 文件中,其中 size 是大于 8000 的数字,缺省设置为:


    set cl_comm:rm_thread_stacksize=0xsize
    



    注意:

    如果更改了 VxVM 磁盘组或卷的任何配置信息,则必须使用 scsetup 公用程序注册配置更改。 必须注册的配置更改包括添加或删除卷,以及更改现有卷的组、属主或许可。 有关注册对磁盘设备组的配置所作更改的步骤,请参阅 Sun Cluster System Administration Guide for Solaris OS 中的 “Administering Disk Device Groups”


  7. 检验 VxVM 磁盘组和卷的配置。

    转到SPARC: 如何检验磁盘组配置

SPARC: 如何给磁盘设备组指定新的次编号

如果因为次编号与另一磁盘组的次编号冲突而导致磁盘设备组注册失败,则必须给该新磁盘组分配一个未使用过的新次编号。 遵照此过程,为磁盘组重编次编号。

  1. 成为群集中一个节点上的超级用户。

  2. 确定正在使用的次编号。


    # ls -l /global/.devices/node@1/dev/vx/dsk/*
    

  3. 选择其它任何未使用的 1000 的倍数作为新磁盘组的基本次编号。

  4. 将该新的基本次编号分配给磁盘组。


    # vxdg reminor diskgroup base-minor-number
    

  5. 转到SPARC: 如何创建并注册磁盘组 步骤 5,将磁盘组注册为 Sun Cluster 磁盘设备组。

SPARC: 示例 — 如何给磁盘设备组指定新的次编号

该示例使用次编号 16000-16002 和 4000-4001。vxdg reminor 命令为新的磁盘设备组重编次编号使其使用基本次编号 5000。


# ls -l /global/.devices/node@1/dev/vx/dsk/*
/global/.devices/node@1/dev/vx/dsk/dg1
brw-------   1 root     root      56,16000 Oct  7 11:32 dg1v1
brw-------   1 root     root      56,16001 Oct  7 11:32 dg1v2
brw-------   1 root     root      56,16002 Oct  7 11:32 dg1v3
 
/global/.devices/node@1/dev/vx/dsk/dg2
brw-------   1 root     root      56,4000 Oct  7 11:32 dg2v1
brw-------   1 root     root      56,4001 Oct  7 11:32 dg2v2
# vxdg reminor dg3 5000

SPARC: 如何检验磁盘组配置

在群集中的每个节点上都执行此过程。

  1. 检验在根磁盘组中是否只包含本地磁盘,并检验是否只在当前主节点上输入了磁盘组。


    # vxdisk list
    

  2. 检验是否已启动了所有卷。


    # vxprint
    

  3. 检验是否已将所有磁盘组注册为 Sun Cluster 磁盘设备组以及这些磁盘组是否联机。


    # scstat -D
    

  4. 配置群集。

    转到配置群集

SPARC: 如何取消根磁盘的封装

执行此过程以取消根磁盘的封装。

  1. 确保在根磁盘上只存在 Solaris 根文件系统。

    Solaris 根文件系统包括根 (/)、交换、全局设备名称空间、/usr/var/opt/home。 如果有任何其它文件系统驻留在根磁盘上,则将其备份然后从根磁盘中删除。

  2. 成为要取消封装的节点的超级用户。

  3. 从节点中清空所有资源组和设备组。


    # scswitch -S -h from-node
    
    -S

    清空所有资源组和设备组

    -h from-node

    指定要清空资源组或设备组的节点的名称

  4. 确定节点的节点 ID 号。


    # clinfo -nN
    

  5. 卸载该节点的全局设备文件系统,其中 N 是在步骤 4 中返回的节点 ID 号。


    # umount /global/.devices/node@N
    

  6. 查看 /etc/vfstab 文件并确定哪个 VxVM 卷对应于全局设备文件系统。


    # vi /etc/vfstab
    #device        device        mount    FS     fsck    mount    mount
    #to mount      to fsck       point    type   pass    at boot  options
    #
    #NOTE: volume rootdiskxNvol (/global/.devices/node@N) encapsulated 
    #partition cNtXdYsZ
    

  7. 从根磁盘组中删除对应于该全局设备文件系统的 VxVM 卷。


    # vxedit -rf rm rootdiskxNvol
    


    Caution – Caution –

    不要在全局设备文件系统中存储全局设备的设备项以外的数据。 删除 VxVM 卷时将破坏全局设备文件系统中的所有数据。 在根磁盘的封装被取消之后,仅恢复与全局设备项相关的数据。


  8. 取消根磁盘的封装。


    注意:

    不要接受从命令发出的关机请求。



    # /etc/vx/bin/vxunroot
    

    有关详细信息,请参阅 VxVM 文档。

  9. 使用 format(1M) 命令将 512 兆字节的分区添加到根磁盘中,以备全局设备文件系统使用。


    提示:

    使用在封装根磁盘之前在 /etc/vfstab 文件中指定的分配给全局设备文件系统的那个盘片。


  10. 步骤 9 中创建的分区上设置一个文件系统。


    # newfs /dev/rdsk/cNtXdYsZ
    

  11. 确定根磁盘的 DID 名称。


    # scdidadm -l cNtXdY
    1        phys-schost-1:/dev/rdsk/cNtXdY   /dev/did/rdsk/dN 
    

  12. /etc/vfstab 文件中,用步骤 11 中指定的 DID 路径替代全局设备文件系统条目中的路径名称。

    原有条目应类似于以下内容。


    # vi /etc/vfstab
    /dev/vx/dsk/rootdiskxNvol /dev/vx/rdsk/rootdiskxNvol /global/.devices/node@N ufs 2 no global

    经过修订后,使用 DID 路径的项应类似于以下内容。


    /dev/did/dsk/dNsX /dev/did/rdsk/dNsX /global/.devices/node@N ufs 2 no global

  13. 安装全局设备文件系统。


    # mount /global/.devices/node@N
    

  14. 从群集的一个节点上,给所有原始磁盘和 Solstice DiskSuite/Solaris Volume Manager 设备的设备节点上重新装入全局设备文件系统。


    # scgdevs
    

    在下一次重新引导过程中将重新创建 VxVM 设备。

  15. 重新引导该节点。


    # reboot
    

  16. 在群集的每个节点上重复该过程,以在这些节点上取消根磁盘的封装。