通常,RSM 段表示一组映射到连续虚拟地址范围的非连续物理内存页。通过 RSM 段导出和段导入操作,可以在互连系统之间共享物理内存区域。物理页所在节点的进程称为内存的导出者。为远程访问发布的导出段将具有给定节点所特有的段标识符。段 ID 可以由导出者或 RSMAPI 框架指定。
互连节点的进程通过创建 RSM 导入段来对导出的内存进行访问。RSM 导入段与一个导出段连接,而不是与本地物理页连接。如果互连支持内存映射,则导入者可以使用导入段的本地内存映射地址来读写导出的内存。如果互连不支持内存映射,则导入进程会使用内存访问元语。
导出内存段时,应用程序首先通过常规操作系统接口(如 System V 共享内存接口、mmap 或 valloc)来分配其虚拟地址空间中的内存。分配内存之后,应用程序将调用 RSMAPI 库接口来创建和标记段。标记段之后,RSMAPI 库接口将物理页绑定到已分配的虚拟范围。绑定物理页之后,RSMAPI 库接口会发布段以供导入进程访问。
如果虚拟地址空间是使用 mmap 获取的,则映射必须为 MAP_PRIVATE。
导出端内存段操作包括:
创建和销毁内存段
发布和取消发布内存段
重新绑定内存段的后备存储
使用 rsm_memseg_export_create 建立新内存段可以在创建时将物理内存与该段进行关联。此操作将返回新内存段的导出端内存段句柄。段在创建进程的生命周期内一直存在,或者在使用 rsm_memseg_export_destroy 销毁该段之前一直存在。
如果在导入端断开连接之前执行销毁操作,则会强制断开连接。
此函数可用于创建段句柄。创建段句柄之后,段句柄会绑定到指定的虚拟地址范围 [vaddr..vaddr+size]。此范围必须有效并基于控制器的 alignment 属性对齐。flags 参数是位掩码,可用于执行以下操作:
解除绑定段
重新绑定段
将 RSM_ALLOW_REBIND 传递给 flags
支持锁定操作
将 RSM_LOCK_OPS 传递给 flags
RSMAPI 的初始发行版中不包括 RSM_LOCK_OPS 标志。
返回值:如果成功,则返回 0。否则返回错误值。
控制器句柄无效
控制器不存在
段句柄无效
长度为零或长度超出控制器限制
地址无效
权限被拒绝
内存不足
资源不足
地址未在页边界上对齐
操作被信号中断
此函数可用于解除分配段及其可用资源。将强制断开与所有导入进程的连接。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
pollfd 正在使用
通过发布操作,其他互连节点可以导入内存段。一个导出段可能会在多个互连适配器上发布。
段 ID 可以在授权范围内指定或指定为零,此时 RSMAPI 框架会生成有效的段 ID 并传递回该段 ID。
段访问控制列表由多对节点 ID 和访问权限组成。对于列表中指定的每个节点 ID,关联的读/写权限会通过三个八进制数字提供给属主、组和其他用户,这与 Solaris 文件权限一样。在访问控制列表中,每个八进制数字都可以具有以下值:
写入访问。
只读访问。
读写访问。
访问权限值 0624 可指定以下访问类型:
与导出者具有相同 uid 的导入者具有读写访问权限。
与导出者具有相同 gid 的导入者仅有写入访问权限。
所有其他导入者仅有读取访问权限。
提供访问控制列表之后,未包含在此列表中的节点不能导入段。但是,如果访问列表为空,则任何节点都可导入段。所有节点的访问权限等同于导出进程的属主/组/其他用户文件创建权限。
节点应用程序负责管理段标识符的指定,从而确保导出节点的唯一性。
typedef struct { rsm_node_id_t ae_node; /* remote node id allowed to access resource */ rsm_permission_t ae_permissions; /* mode of access allowed */ }rsmapi_access_entry_t;.
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
段已发布
访问控制列表无效
段标识符无效
段标识符正在使用
段标识符已保留
不是段的创建者
地址错误
内存不足
资源不足
授权的段 ID 范围:
0
0x0FFFFF
0x100000
0x1FFFFF
0x200000
0x2FFFFF
0x300000
0x3FFFFF
0x400000
0x4FFFFF
以下范围会保留,以便在发布值为零时由系统进行分配。
0x80000000
0xFFFFFFF
此函数可用于建立新的节点访问列表和段访问模式。这些更改仅会影响将来的导入调用,并且不会撤消已准许的导入请求。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
段未发布
访问控制列表无效
不是段的创建者
内存不足
资源不足
操作被信号中断
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
段未发布
不是段的创建者
操作被信号中断
重新绑定操作可释放导出段的当前后备存储。释放导出段的当前后备存储之后,重新绑定操作将分配新的后备存储。应用程序必须首先获取分配给段的新虚拟内存。此操作对于段的导入者是透明的。
应用程序负责防止在重新绑定操作完成之前对段数据进行访问。重新绑定过程中从段中检索数据不会导致系统故障,但执行此类操作的结果是不确定的。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
长度无效
地址无效
不允许重新绑定
不是段的创建者
权限被拒绝
内存不足
资源不足
操作被信号中断
以下列出了导入端操作:
连接和断开连接内存段
访问导入的段内存
屏障 (barrier) 操作,用于强制设置数据访问操作顺序以及用于访问错误检测
连接操作用于创建 RSM 导入段并与导出的段形成逻辑连接。
对导入的段内存的访问由以下三个接口类别提供:
段访问。
数据传送。
段内存映射。
此函数可用于通过指定的权限 perm 连接到远程节点 node_id 上的段 segment_id。连接到段之后,此函数会返回一个段句柄。
参数 perm 用于指定导入者针对此连接请求的访问模式。要建立连接,可将导出者指定的访问权限与导入者使用的访问模式、用户 ID 和组 ID 进行比较。如果请求模式无效,则会拒绝连接请求。perm 参数限制为以下八进制值:
读取模式
写入模式
读/写模式
指定的控制器必须与用于段导出的控制器具有物理连接。
返回值:如果成功,则返回 0。否则返回错误值。
控制器句柄无效
控制器不存在
段句柄无效
权限被拒绝
未将段发布到节点
未发布此类段
无法访问远程节点
连接已中断
内存不足
资源不足
地址错误
此函数可用于断开段连接。断开段连接之后,此函数将释放段的资源。所有与断开连接的段的现有映射都将删除。句柄 im_memseg 将会释放。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
仍映射段
pollfd 正在使用
以下接口提供了一种机制,用于在 8 位和 64 位数据之间进行传送。get 接口使用重复计数 (rep_cnt) 来表示进程将从连续位置读取的给定大小的数据项数。这些位置从导入的段中的字节偏移 offset 开始。数据会写入从 datap 开始的连续位置。put 接口可使用重复计数 (rep_cnt)。此计数表示进程将从连续位置读取的数据项数。这些位置从 datap 开始。然后,数据会写入已导入段中的连续位置。这些位置从 offset 参数所指定的字节偏移开始。
如果源与目标具有不兼容的字节存储顺序特征,则这些接口还可提供字节交换功能。
int rsm_memseg_import_get8(rsm_memseg_import_handle_t im_memseg, off_t offset, uint8_t *datap, ulong_t rep_cnt);以下接口用于进行规模大于段访问操作所支持范围的数据传送。
int rsm_memseg_import_put(rsm_memseg_import_handle_t im_memseg, off_t offset, void *src_addr, size_t length);此函数可用于将数据从 src_addr 和 length 所指定的本地内存复制到句柄和偏移所指定的对应导入的段所在位置。
int rsm_memseg_import_get(rsm_memseg_import_handle_t im_memseg, off_t offset, void *dst_addr, size_t length);此函数类似于 rsm_memseg_import_put(),但是数据从导入的段流入 dest_vec 参数所定义的本地区域。
put 和 get 例程从参数 offset 所指定的字节偏移位置写入或读取指定的数据量。这些例程从段的基地址开始。偏移必须在相应的边界对齐。例如,rsm_memseg_import_get64() 要求 offset 和 datap 在双字界对齐,而 rsm_memseg_import_put32() 则要求偏移在单字边界对齐。
缺省情况下,段的屏障 (barrier) 模式属性为 implicit。 隐式屏障 (barrier) 模式表示调用方假设数据传送在从操作返回时已完成或失败。 由于缺省屏障 (barrier) 模式为隐式,因此应用程序必须初始化屏障 (barrier)。使用缺省模式时,应用程序会在调用 put 或 get 例程之前使用 rsm_memseg_import_init_barrier() 函数初始化屏障 (barrier)。要使用显式操作模式,调用方必须使用屏障 (barrier) 操作来强制完成传送。强制完成传送之后,调用方必须确定强制完成是否产生了任何错误。
通过在 rsm_memseg_import_map() 例程中传递偏移可以部分映射导入段。如果部分映射了导入段,则 put 或 get 例程中的 offset 参数是相对于段的基地址。用户必须确保将正确的字节偏移传递给 put 和 get 例程。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
地址错误
内存对齐无效
偏移无效
长度无效
权限被拒绝
未初始化屏障 (barrier)
I/O 完成错误
连接异常中止
资源不足
rsm_memseg_import_putv() 和 rsm_memseg_import_getv() 函数允许使用 I/O 请求列表来替代单个源地址和单个目标地址。
函数原型:
int rsm_memseg_import_putv(rsm_scat_gath_t *sg_io);使用分散/集中列表的 I/O 向量部分 (sg_io) 可以指定本地虚拟地址或 local_memory_handles。句柄是一种重复使用本地地址范围的有效方法。在释放句柄之前,已分配的系统资源(如已锁定的本地内存)会一直保留。句柄的支持函数包括 rsm_create_localmemory_handle() 和 rsm_free_localmemory_handle()。
可以将虚拟地址或句柄收集到向量中,以便写入单个远程段。另外,还可以将从单个远程段读取的结果分散到虚拟地址或句柄的向量中。
整个向量的 I/O 会在返回之前启动。导入段的屏障 (barrier) 模式属性可确定 I/O 是否在函数返回之前已完成。将屏障 (barrier) 模式属性设置为 implicit 可保证数据传送按照在向量中的输入顺序完成。在每个列表项开始时会执行隐式屏障 (barrier) 打开,在每个列表项结束时会执行隐式屏障 (barrier) 关闭。如果检测到错误,向量的 I/O 会终止并且函数会立即返回。剩余计数表示其 I/O 尚未完成或尚未启动的项数。
可以指定在 putv 或 getv 操作成功时,向目标段发送通知事件。要指定传送通知事件,请在 rsm_scat_gath_t 结构的 flags 项中指定 RSM_IMPLICIT_SIGPOST 值。flags 项还可以包含值 RSM_SIGPOST_NO_ACCUMULATE,该值在设置了 RSM_IMPLICIT_SIGPOST 的情况下会传递给信号传递操作。
返回值:如果成功,则返回 0。否则返回错误值。
分散/集中结构指针无效
段句柄无效
控制器句柄无效
地址错误
偏移无效
长度无效
权限被拒绝
I/O 完成错误
连接异常中止
资源不足
操作被信号中断
此函数可用于获取本地句柄,以便在后续调用 putv 或 getv 时用于 I/O 向量。尽快释放句柄可节省系统资源(特别是本地句柄占用的内存),这些资源可能会锁定。
返回值:如果成功,则返回 0。否则返回错误值。
控制器句柄无效
本地内存句柄无效
长度无效
地址无效
内存不足
此函数可用于释放与本地句柄关联的系统资源。由于进程退出时会释放属于该进程的所有句柄,因此调用此函数可节省系统资源。
返回值:如果成功,则返回 0。否则返回错误值。
控制器句柄无效
本地内存句柄无效
以下示例说明了主数据结构的定义。
typedef void *rsm_localmemory_handle_t typedef struct { ulong_t io_request_count; number of rsm_iovec_t entries ulong_t io_residual_count; rsm_iovec_t entries not completed in flags; rsm_memseg_import_handle_t remote_handle; opaque handle for import segment rsm_iovec_t *iovec; pointer to array of io_vec_t } rsm_scat_gath_t; typedef struct { int io_type; HANDLE or VA_IMMEDIATE union { rsm_localmemory_handle_t handle; used with HANDLE caddr_t virtual_addr; used with VA_IMMEDIATE } local; size_t local_offset; offset from handle base vaddr size_t import_segment_offset; offset from segment base vaddr size_t transfer_length; } rsm_iovec_t;
映射操作只能用于本机体系结构互连,如 Dolphin-SCI 或 NewLink。映射段可授予 CPU 内存操作访问该段的权限,从而节省了调用内存访问元语的开销。
int rsm_memseg_import_map(rsm_memseg_import_handle_t im_memseg, void **address, rsm_attribute_t attr, rsm_permission_t perm, off_t offset, size_t length);此函数可用于将导入的段映射成调用方地址空间。如果指定了属性 RSM_MAP_FIXED,则此函数会在 **address 中指定的值所在位置映射段。
typedef enum { RSM_MAP_NONE = 0x0, /* system will choose available virtual address */ RSM_MAP_FIXED = 0x1, /* map segment at specified virtual address */ } rsm_map_attr_t;
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
地址无效
长度无效
偏移无效
权限无效
已映射段
未连接段
连接异常中止
映射时出现错误
地址未在页边界上对齐
此函数可用于从用户虚拟地址空间中取消映射导入的段。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
使用屏障 (barrier) 操作可以解决写入访问顺序内存模型问题。屏障 (barrier) 操作还可提供远程内存访问错误检测功能。
屏障 (barrier) 机制由以下操作组成:
初始化
打开
关闭
排序
打开和关闭操作定义了错误检测和排序的时间间隔。通过初始化操作,可以为每个导入的段创建屏障 (barrier) 并指定屏障 (barrier) 类型。当前支持的唯一屏障 (barrier) 类型针对每个段具有一个时间间隔范围。请使用类型参数值 RSM_BAR_DEFAULT。
成功执行关闭操作可保证成功完成所涉及的访问操作,这些操作在屏障 (barrier) 打开操作和屏障 (barrier) 关闭操作之间进行。在屏障 (barrier) 打开操作之后直到屏障 (barrier) 关闭操作之前,不会报告单个数据访问操作(读取和写入)故障。
要在屏障 (barrier) 范围内强制设置特定的写入完成顺序,请使用显式屏障 (barrier) 排序操作。在屏障 (barrier) 排序操作之前发出的写入操作会先于在屏障 (barrier) 排序操作之后发出的操作完成。给定屏障 (barrier) 范围内的写入操作会根据其他屏障 (barrier) 范围进行排序。
int rsm_memseg_import_init_barrier(rsm_memseg_import_handle_t im_memseg, rsm_barrier_type_t type, rsmapi_barrier_t *barrier);目前,RSM_BAR_DEFAULT 是唯一支持的类型。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
屏障 (barrier) 指针无效
内存不足
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
屏障 (barrier) 指针无效
此函数可用于关闭屏障 (barrier) 并刷新所有存储缓冲区。此调用假设如果调用 rsm_memseg_import_close_barrier() 失败,则调用进程将重试自上次 rsm_memseg_import_open_barrier 调用以来的所有远程内存操作。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
屏障 (barrier) 指针无效
未初始化屏障 (barrier)
未打开屏障 (barrier)
内存访问错误
连接异常中止
此函数可用于刷新所有存储缓冲区。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
屏障 (barrier) 指针无效
未初始化屏障 (barrier)
未打开屏障 (barrier)
内存访问错误
连接异常中止
此函数可用于取消分配所有屏障 (barrier) 资源。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
屏障 (barrier) 指针无效
此函数支持可用于 put 例程的可选显式屏障 (barrier) 范围。两种有效的屏障 (barrier) 模式为 RSM_BARRIER_MODE_EXPLICIT 和 RSM_BARRIER_MODE_IMPLICIT。屏障 (barrier) 模式的缺省值为 RSM_BARRIER_MODE_IMPLICIT。在隐式模式下,隐式屏障 (barrier) 打开和屏障 (barrier) 关闭会应用于每个 put 操作。将屏障 (barrier) 模式值设置为 RSM_BARRIER_MODE_EXPLICIT 之前,请使用 rsm_memseg_import_init_barrier 例程针对导入的段 im_memseg 初始化屏障 (barrier)。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
此函数可用于获取 put 例程中屏障 (barrier) 范围设置的当前模式值。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效。
通过事件操作,可以针对内存访问事件实现进程同步。如果进程无法使用 rsm_intr_signal_wait() 函数,则可以多路复用事件等待,方法是通过 rsm_memseg_get_pollfd() 获取轮询描述符并使用 poll 系统调用。
使用 rsm_intr_signal_post() 和 rsm_intr_signal_wait() 操作时需要处理对内核的 ioctl 调用。
void 指针 *memseg 可以将类型转换为导入段句柄或导出段句柄。如果 *memseg 引用导入句柄,则此函数会向导出进程发送信号。如果 *memseg 引用导出句柄,则此函数会向该段的所有导入者发送信号。如果已针对目标段暂挂此事件,则将 flags 参数设置为 RSM_SIGPOST_NO_ACCUMULATE 可废弃此事件。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
无法访问远程节点
void 指针 *memseg 可以将类型转换为导入段句柄或导出段句柄。进程的阻塞时间最多可达到 timeout 毫秒,或在事件发生之前一直阻塞。如果值为 -1,则进程在事件发生之前或中断之前会一直阻塞。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
计时器已到期
等待已中断
此函数可用于通过指定段的描述符以及 rsm_intr_signal_post() 所生成的单个固定事件初始化指定的 pollfd 结构。将 pollfd 结构用于 poll 系统调用可等待 rsm_intr_signal_post 所通知的事件。如果当前未发布内存段,则 poll 系统调用无法返回有效的 pollfd。每次成功调用都会递增指定段的 pollfd 引用计数。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效
此调用可递减指定段的 pollfd 引用计数。如果引用计数为非零值,则取消发布、销毁或取消映射段的操作会失败。
返回值:如果成功,则返回 0。否则返回错误值。
段句柄无效