代码之家  ›  专栏  ›  技术社区  ›  kindjacket

DASK分布式任务流仪表板上的空白区域发生了什么?

  •  0
  • kindjacket  · 技术社区  · 6 年前

    下面是任务流仪表板。空白区发生了什么?这是我的本地python实例/dask调度程序工作时的情况吗?是在GC或其他进程发生的时候?

    enter image description here

    我想知道这段时间发生了什么,这样我可以减少空白。

    1 回复  |  直到 6 年前
        1
  •  1
  •   mdurant    6 年前

    你说得对,空白区意味着工人们在这段时间里处于空闲状态。尽管工作阻塞活动、通信和反序列化将分别显示为红色和灰色的透明块,但空白意味着没有给工作人员任何工作。

    可能发生这种情况的主要原因是,您正在向调度程序提交一个包含很多任务的大型图形。客户机和调度程序之间的此图通信可能需要一些时间,调度程序中决定分配工作的许多进程也需要一些时间。前者的可能性更大,您最好考虑是否可以做些什么来减小图的大小(例如,更大的块大小)。

    可以分析在调度程序上花费的时间,尽管这通常不会向用户公开。您可以使用常规的Python分析工具来分析客户机内的活动。