一尘不染

为什么CUDA固定内存这么快?

linux

当我使用固定内存进行CUDA数据传输时,我发现数据传输速度大大提高。在linux上,实现此目标的底层系统调用是mlock。从mlock的手册页中可以看出,锁定该页可防止将其换出:

mlock()将页面锁定在地址范围内,该地址范围从addr开始并持续len个字节。当调用成功返回时,保证所有包含指定地址范围一部分的页面都驻留在RAM中;

在测试中,我的系统上有几千个可用内存,因此从不存在内存页可以换出的任何风险,但我仍然观察到加速。任何人都可以解释这里的实际情况吗?任何见解或信息都将不胜感激。


阅读 395

收藏
2020-06-02

共1个答案

一尘不染

CUDA驱动程序 检查
内存范围是否被锁定,然后它将使用其他代码路径。锁定的内存存储在物理内存(RAM)中,因此设备可以不需CPU的帮助即可获取它(DMA,又名异步复制;设备仅需要物理页面列表)。非锁定内存会在访问时产生页面错误,并且不仅存储在内存中(例如可以交换),因此驱动程序需要访问非锁定内存的每一页,将其复制到固定缓冲区中并传递给它。到DMA(同步,逐页复制)。

如此处所述http://forums.nvidia.com/index.php?showtopic=164661

异步mem复制调用使用的主机内存需要通过cudaMallocHost或cudaHostAlloc进行页面锁定。

我还建议您在developer.download.nvidia.com上查看cudaMemcpyAsync和cudaHostAlloc手册。HostAlloc说,CUDA驱动程序可以检测固定内存:

驱动程序跟踪使用this(cudaHostAlloc)函数分配的虚拟内存范围,并自动加速对诸如cudaMemcpy()之类的函数的调用。

2020-06-02