代码之家 › 专栏 › 技术社区 › Minions

如何在GridSearchCV中找到最佳进程数(…,n\u作业=…)?

parallelism-amdahl scikit-learn parallel-processing machine-learning python

Minions · 技术社区 · 6 年前

我想知道,哪一个更好用 GridSearchCV( ..., n_jobs = ... ) 要为模型选择最佳参数集, n_jobs = -1 或 n_jobs 数字很大,
喜欢 n_jobs = 30 ?

基于Sklearn文档:

n\u作业=-1 表示将在所有计算机的CPU。

在我的电脑上,我有一个Intel i3 CPU,它有2个内核和4个线程,这是否意味着如果我设置 n\u作业=-1 ,隐式地等于 n_jobs = 2 ?

2 回复 | 直到 6 年前

user229044 6 年前

。。。这是不是意味着如果我 n_jobs = -1 ,隐式地等于 n_jobs = 2 ?

这个很简单:

python(在 GridSearchCV() )用于检测CPU核的数量,这对于调度并发(独立)进程是合理的,前提是使用 n\u作业=-1 背景

看到3核CPU很有趣?

在某些可以综合模拟CPU/内核的虚拟化机器情况下,结果并不像已知的Intel CPU/i3情况那样微不足道。

如果有疑问,可以测验这是一个微不足道的案例(在一个确实很小的数据集上,而不是全面的模型空间搜索…)让故事继续证明这一点。

import psutil;                  print( "{0:17s}{1:} CPUs PHYSICAL".format(
      "psutil:",
       psutil.cpu_count( logical = False ) ) )
pass;                           print( "{0:17s}{1:} CPUs LOGICAL".format(
      "psutil:",
       psutil.cpu_count( logical = True  ) ) )
...

类似的主机平台“自我检测”可能会报告不同系统/设置的更多详细信息:

'''
sys:             linux 
                 3.6.1 (default, Jun 27 2017, 14:35:15)  .. [GCC 7.1.1 20170622 (Red Hat 7.1.1-3)]

multiprocessing: 1 CPU(s)
psutil:          1 CPUs PHYSICAL
psutil:          1 CPUs LOGICAL
psutil:          psutil.cpu_freq(  per_cpu = True  ) not able to report. ?( v5.1.0+ )
psutil:          5.0.1
psutil:          psutil.cpu_times( per_cpu = True  ) not able to report. ?( vX.Y.Z+ )
psutil:          5.0.1
psutil:          svmem(total=1039192064, available=257290240, percent=75.2, used=641396736, free=190361600, active=581107712, inactive=140537856, buffers=12210176, cached=195223552, shared=32768)
numexpr:         ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'numexpr'.
joblib:          ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'joblib'.
sklearn/joblib:  ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'sklearn.externals.joblib' 
'''

或

''' [i5]
>>> numexpr.print_versions()
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Numexpr version:   2.5
NumPy version:     1.10.4
Python version:    2.7.13 |Anaconda 4.0.0 (32-bit)| (default, May 11 2017, 14:07:41) [MSC v.1500 32 bit (Intel)]
AMD/Intel CPU?     True
VML available?     True
VML/MKL version:   Intel(R) Math Kernel Library Version 11.3.1 Product Build 20151021 for 32-bit applications
Number of threads used by default: 4 (out of 4 detected cores)
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
'''

。。。与GridSearchCV一起使用,可以更好地为模型选择最佳参数集,
n\u作业=-1 或 n_jobs 有一个大数字,比如 n_jobs = 30 ?

没有容易的事” 一刀切 “回答这个问题:

Scikit工具(以及许多其他遵循此做法的工具)用于在 n\u作业 指令,所需数量的并发进程实例(以便避免共享GIL锁步进-如果对详细信息感兴趣,请在其他地方阅读更多信息)。

此流程实例化并不是无成本的(从时间角度来看,都是如此,也就是说 [TIME] -域成本,但也包括空间成本,即至少花费 n\u作业 -乘以中单个python进程实例的RAM分配 [SPACE] -域)。

有鉴于此,你的战斗是对一把双刃剑的战斗。

试图“低估书本” 中央处理器 可能会让(一些)CPU内核闲置。
试图“超额预订” 内存 -空间将使您的性能比预期的更差,因为虚拟内存将改变操作系统交换,从而使您的机器学习可缩放的数据访问时间从 ~ 10+[ns] 超过100000 x较慢 ~ 10+ [ms] 这很难让人满意。

的总体影响 n_jobs = a_reasonable_amount_of_processes 是的主题 Amdahl's Law ( the re-formulated one, not an add-on overhead-naive version ) ,因此将有一个实际的优化峰值(最大值),即有多少CPU核将有助于改善一个人的处理意图,除此之外,开销成本(为 [时间] -以及 [空格] -上述领域)实际上会恶化任何潜在的积极影响预期。

使用过 RandomForestRegressor() 在实际生产中的大型数据集上,我可以告诉您 [空格] -域名是你成长过程中最糟糕的敌人 n\u作业 任何进一步的系统级调优都无法克服这一界限(因此越来越多的超低延迟RAM和越来越多的(真实的)CPU内核是进入更大系统的唯一可行方法 n\u作业 计算计划)。

thepunitsingh Alexandru Gologan-Dalimon 4 年前

Kevyn Collins Thompson教授在Python应用机器学习课程中给出的另一个更简单的答案:

如果我的系统中有4个内核, n_jobs = 30 (以30为例)将与 n_jobs = 4 .因此没有其他影响

因此,始终可以获得的最大性能是使用 n_jobs = -1