第 2 章 编译并运行 OpenMP 程序

本章介绍编译器和运行时选项，这些选项会影响使用 OpenMP API 的程序。

要在多线程环境下运行并行化的程序，必须将程序可能使用的线程数设置为大于一。这可以通过在运行程序前设置 OMP_SET_NUM_THREADS 环境变量来实现。也可以通过以下方式设置线程数：在运行程序的过程中调用值大于一的 omp_set_num_threads() 函数，或者将 num_threads 子句与 PARALLEL 指令一起使用。

有关 Sun Studio 编译器和 OpenMP 的最新信息，请访问 Sun Developer Network 门户网站：http://developers.sun.com/sunstudio

2.1 要使用的编译器选项

要使用 OpenMP 指令实现显式并行化，请使用 cc、CC 或 f95 选项标志 -xopenmp 编译程序。此标志可带有可选关键字参数。（f95 编译器将 -xopenmp 和 -openmp 作为同义词接受。）

-xopenmp 标志接受下列关键字子选项。

-xopenmp=parallel

-xopenmp=noopt

-xopenmp=stubs

-xopenmp=none

附加说明：

• 如果未在命令行中指定 —xopenmp，则编译器会假定使用 —xopenmp=none（禁用对 OpenMP pragma 的识别）。

• 如果指定了 —xopenmp 但不带关键字子选项，则编译器会假定使用 —xopenmp=parallel。

• 指定 -xopenmp=parallel 或 noopt 时，会将 _OPENMP 预处理程序标记定义为 YYYYMM（具体地讲，对于 C/C++，将其定义为 200805L；对于 Fortran 95，将其定义为 200805）。

• 使用 dbx 调试 OpenMP 程序时，请使用 -xopenmp=noopt -g 进行编译。

• -xopenmp 的缺省优化级别在以后的发行版中可能会更改。通过显式指定适当的优化级别，可避免出现编译警告消息。

• 对于 Fortran 95，-xopenmp、-xopenmp=parallel、-xopenmp=noopt 会自动添加 -stackvar。

• 在分步编译并链接 OpenMP 程序时，请在各个编译及链接步骤中包含 -xopenmp。

• 使用 C/C++ 的 -xvpara 选项或 Fortran 95 的 —vpara 选项可显示编译器并行化消息。

• 为了在 Solaris 平台上获得最佳性能和功能，请确保正在运行的系统上已安装了最新的 OpenMP 运行时库 libmtsk.so。

2.2 OpenMP 环境变量

OpenMP 规范定义了四个用于控制 OpenMP 程序执行的环境变量。下表对它们进行了概括。有关详细信息，请参阅 openmp.org 中的 OpenMP API 版本 3.0 规范。

其他多重处理环境变量也会影响 OpenMP 程序的执行，但它们不是 OpenMP 规范的一部分。下表对它们进行了概括。

   int sunw_mp_register_warn (void (*func)(void *));

setenv SUNW_MP_THR_IDLE SPIN 
setenv SUNW_MP_THR_IDLE SLEEP 
setenv SUNW_MP_THR_IDLE SLEEP(2s) 
setenv SUNW_MP_THR_IDLE SLEEP(20ms) 
setenv SUNW_MP_THR_IDLE SLEEP(150mc)

2.3 处理器绑定

通过处理器绑定，程序员可指示操作系统在整个程序执行期间在同一处理器上运行该程序中的线程。（在 Linux 上不提供此功能。）

在将处理器绑定与静态调度一起使用时，将有益于展示某个数据重用模式的应用程序，在该模式中，由并行区域或工作共享区域中的线程访问的数据将位于上次调用的并行区域或工作共享区域的本地缓存中。

从硬件的角度看，计算机系统是由一个或多个物理处理器组成的。从操作系统的角度看，其中每个物理处理器都映射到可运行程序中的线程的一个或多个虚拟处理器。如果 n 个虚拟处理器可用，则可同时调度运行 n 个线程。根据系统的不同，虚拟处理器可能是处理器、内核，等等。

例如，每个 UltraSPARC IV 物理处理器都具有两个内核；从 Solaris OS 的角度看，其中每个内核都是一个虚拟处理器，可以在其中安排要运行的线程。另一方面，UltraSPARC T1 物理处理器具有八个内核，每个内核可运行四个同时进行处理的线程；从 Solaris OS 的角度看，共有 32 个虚拟处理器，可以在其中安排要运行的线程。在 Solaris 操作系统上，可以使用 psrinfo(1M) 命令来确定虚拟处理器的数量。在 Linux 系统上，文件 /proc/cpuinfo 提供有关可用处理器的信息。

当操作系统将线程绑定到处理器时，实际上是将线程绑定到特定的虚拟处理器而不是物理处理器。

设置 SUNW_MP_PROCBIND 环境变量，可以将 OpenMP 程序中的线程绑定到特定的虚拟处理器。为 SUNW_MP_PROCBIND 指定的值可以是下列值之一：

• 字符串 "TRUE" 或 "FALSE"（或小写的 "true" 或 "false"）。 例如， % setenv SUNW_MP_PROCBIND "false"

• 非负整数。 例如，% setenv SUNW_MP_PROCBIND "2"

• 由一个或多个空格分隔的两个或更多非负整数的列表。 例如，% setenv SUNW_MP_PROCBIND "0 2 4 6"

• 两个非负整数 n1 和 n2，二者之间由减号 ("-") 分隔；n1 必须小于或等于 n2。 例如，% setenv SUNW_MP_PROCBIND "0-6"

请注意，上文提到的非负整数表示逻辑标识符 (ID)。逻辑 ID 可能不同于虚拟处理器 ID。下面将介绍二者之间的差异。

虚拟处理器 ID：

系统中的每个虚拟处理器都有唯一的处理器 ID。可以使用 Solaris 操作系统的 psrinfo(1M) 命令显示有关系统中处理器的信息，包括其处理器 ID。此外，还可以使用 prtdiag(1M) 命令显示系统配置和诊断信息。

可以使用 psrinfo -pv 列出系统中的所有物理处理器以及与每个物理处理器关联的虚拟处理器。

虚拟处理器 ID 可能是连续的，也可能是不连续的。例如，在具有 8 个 UltraSPARC IV 处理器（16 个内核）的 Sun Fire 4810 上，虚拟处理器 ID 可能是： 0、1、2、3、8、9、10、11、512、513、514、515、520、521、522、523。

逻辑 ID：

如上所述，为 SUNW_MP_PROCBIND 指定的非负整数是逻辑 ID。逻辑 ID 是从 0 开始的连续整数。如果系统中可用的虚拟处理器数为 n，则其逻辑 ID 为 0、1、...、n-1（按 psrinfo(1M) 命令显示的顺序）。以下 Korn shell 脚本可用于显示从虚拟处理器 ID 到逻辑 ID 的映射。

#!/bin/ksh

NUMV= `psrinfo | fgrep "on-line" | wc -l `
set -A VID  `psrinfo | cut -f1 `

echo "Total number of on-line virtual processors = $NUMV"
echo

let "I=0"
let "J=0"
while [[ $I -lt $NUMV ]]
do
  echo "Virtual processor ID ${VID[I]} maps to logical ID ${J}"
  let "I=I+1"
  let "J=J+1"
done

在将单个物理处理器映射到多个虚拟处理器的系统上，了解哪些逻辑 ID 与属于同一物理处理器的虚拟处理器相对应会很有用。在以后的 Solaris 发行版中，可以使用以下 Korn shell 脚本来显示此信息。

#!/bin/ksh

NUMV= `psrinfo | grep "on-line" | wc -l `
set -A VLIST  `psrinfo | cut -f1 `
set -A CHECKLIST  `psrinfo | cut -f1 `

let "I=0"

while [ $I -lt $NUMV ]
do
  let "COUNT=0"
  SAMELIST="$I"

  let "J=I+1"

  while [ $J -lt $NUMV ]
  do
    if [ ${CHECKLIST[J]} -ne -1 ]
    then
      if [  `psrinfo -p ${VLIST[I]} ${VLIST[J]} ` = 1 ]
      then
    SAMELIST="$SAMELIST $J"
    let "CHECKLIST[J]=-1"
    let "COUNT=COUNT+1"
      fi
    fi
    let "J=J+1"
  done

  if [ $COUNT -gt 0 ]
  then
    echo "The following logical IDs belong to the same physical processor:"
    echo "$SAMELIST"
    echo " "
  fi

  let "I=I+1"
done

解释为 SUNW_MP_PROCBIND 指定的值：

如果为 SUNW_MP_PROCBIND 指定的值是 TRUE，则线程会从逻辑 ID 为 0 的处理器开始，以循环方式绑定到虚拟处理器。（指定 TRUE 等效于为 SUNW_MP_PROCBIND 指定值 0。）

如果为 SUNW_MP_PROCBIND 指定的值是非负整数，则该整数表示线程应绑定到的虚拟处理器的起始逻辑 ID。线程会从具有指定逻辑 ID 的处理器开始，以循环方式绑定到虚拟处理器，在绑定到逻辑 ID 为 n-1 的处理器后，返回到逻辑 ID 为 0 的处理器。

如果为 SUNW_MP_PROCBIND 指定的值是包含两个或更多非负整数的列表，则线程将以循环方式绑定到具有指定逻辑 ID 的虚拟处理器。将不会使用其逻辑 ID 不是指定逻辑 ID 的处理器。

如果为 SUNW_MP_PROCBIND 指定的值是用减号 ("-") 分隔的两个非负整数，则线程将以循环方式绑定到如下范围的虚拟处理器：以第一个逻辑 ID 开头，并以第二个逻辑 ID 结尾。将不会使用其逻辑 ID 在此范围之外的处理器。

如果为 SUNW_MP_PROCBIND 指定的值不符合上述任何一种形式，或者给定的逻辑 ID 无效，则会发出一条错误消息，并终止程序的执行。

请注意，微任务化库 libmtsk 创建的线程数取决于环境变量、用户程序中的 API 调用和 num_threads 子句。SUNW_MP_PROCBIND 指定线程应绑定到的虚拟处理器的逻辑 ID。线程将以循环方式绑定到该组处理器。如果程序中使用的线程数少于 SUNW_MP_PROCBIND 指定的逻辑 ID 数，则程序将不使用某些虚拟处理器。如果线程数大于 SUNW_MP_PROCBIND 指定的逻辑 ID 数，则一些虚拟处理器将绑定多个线程。

与 OS 处理器集进行交互

在 Solaris 平台上使用 psrset 实用程序，或者在 Linux 平台上使用 taskset 命令，可以指定处理器集。SUNW_MP_PROCBIND 没有将处理器集考虑在内。如果程序员使用处理器集，则他们应负责确保 SUNW_MP_PROCBIND 的设置与所用的处理器集一致。否则，在 Linux 系统上，SUNW_MP_PROCBIND 的设置将覆盖处理器集设置，而在 Solaris 系统上，将会发出错误消息。

2.4 栈和栈大小

正在执行的程序为执行该程序的初始线程维护主栈，并为每个从属线程维护不同的栈。栈是临时内存地址空间，用于保留子程序或函数引用调用期间的参数和自动变量。

通常，主栈的缺省大小为 8 兆字节。使用 f95 -stackvar 选项编译 Fortran 程序会强制在栈中分配局部变量和数组，就好像它们是自动变量。显式并行化的程序暗指对 OpenMP 程序使用 -stackvar，因为该选项可提高优化器将循环中的调用并行化的能力。（有关 -stackvar 标志的讨论，请参见《Fortran 用户指南》。）但是，如果为栈分配的内存不足，这会导致栈溢出。

使用 limit C-shell 命令或 ulimit ksh/sh 命令可显示或设置主栈的大小。

OpenMP 程序的每个从属线程均具有其自身的线程栈。此栈模拟初始（或主）线程栈，但对于线程是唯一的。线程的 PRIVATE 数组和变量（对于线程是局部的）在线程栈中分配。在 32 位 SPARC V8 和 x86 平台上，缺省大小为 4 兆字节；在 64 位 SPARC V9 和 x86 平台上，缺省大小为 8 兆字节。辅助线程栈的大小使用 OMP_STACKSIZE 环境变量来设置。

demo% setenv OMP_STACKSIZE 16384   <-Set thread stack size to 16 Mb (C shell)

demo$ OMP_STACKSIZE=16384          <-Same, using Bourne/Korn shell
demo$ export OMP_STACKSIZE

可能需要反复试验才能确定最佳栈大小。如果栈大小设置的太小，不足以满足线程的运行需要，可能会导致邻近线程中发生无提示数据损坏或段故障。如果无法确定是否发生栈溢出，请使用 -xcheck=stkovf 编译器选项编译 Fortran、C 或 C++ 程序，以强制在栈溢出时发生段故障。这样便可以在发生数据损坏前停止程序。（注： -xcheck=stkovf 编译器选项仅在 SPARC 系统上可用。）

2.5 使用线程分析器检查 OpenMP 程序

可以通过使用 Sun Studio 线程分析器工具检查 OpenMP 程序中是否存在数据争用和死锁。有关详细信息，请参阅线程分析器手册及 tha(1) 手册页。