1. 首页
  2. 问题
  3. 为什么在导入numpy之后多处理仅使用单个内核？
一尘不染

为什么在导入numpy之后多处理仅使用单个内核？

python

我不确定这是否更多的是操作系统问题，但是我想在这里问一下，以防有人对Python有所了解。

我一直在尝试使用并行化CPU繁重的for循环joblib，但是我发现不是将每个工作进程分配给不同的内核，而是最终将所有工作进程分配给相同的内核，并且没有性能提升。

这是一个非常简单的例子…

from joblib import Parallel,delayed
import numpy as np

def testfunc(data):
    # some very boneheaded CPU work
    for nn in xrange(1000):
        for ii in data[0,:]:
            for jj in data[1,:]:
                ii*jj

def run(niter=10):
    data = (np.random.randn(2,100) for ii in xrange(niter))
    pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
    results = pool(delayed(testfunc)(dd) for dd in data)

if __name__ == '__main__':
    run()

…这是我在htop运行此脚本时看到的内容：

thg0Y.png

我在具有4核的笔记本电脑上运行Ubuntu 12.10（3.5.0-26）。显然joblib.Parallel是为不同的工作人员生成了单独的进程，但是有什么方法可以使这些进程在不同的内核上执行？


阅读 528

收藏
2020-02-21

共2个答案

一尘不染

经过更多的谷歌搜索后，我在这里找到了答案。

事实证明，某些Python模块（numpy，scipy，tables，pandas，skimage对进口核心相关性......）的混乱。据我所知，这个问题似乎是由它们链接到多线程OpenBLAS库引起的。

解决方法是使用

os.system("taskset -p 0xff %d" % os.getpid())

在导入模块之后粘贴了这一行，我的示例现在可以在所有内核上运行：

k7eNf.png

2020-02-21
一尘不染

到目前为止，我的经验是，这似乎对numpy机器的性能没有任何负面影响，尽管这可能是特定于机器和任务的。

更新：
还有两种方法可以禁用OpenBLAS本身的CPU关联性重置行为。在运行时，你可以使用环境变量OPENBLAS_MAIN_FREE（或GOTOBLAS_MAIN_FREE），例如

OPENBLAS_MAIN_FREE=1 python myscript.py

或者，如果你要从源代码编译OpenBLAS，则可以在构建时通过编辑Makefile.rule使其包含该行来永久禁用它

NO_AFFINITY=1
2020-02-21