代码之家 › 专栏 › 技术社区 › StatsNoob

大对象的python多处理管道将挂起

pipe multiprocessing dictionary python

StatsNoob · 技术社区 · 6 年前

from multiprocessing import Pipe
import time

recv_end, send_end = Pipe(duplex=False)
d = {'word'+str(elem): elem for elem in range(3000)}

start_time = time.time()
send_end.send(d)
print('--- %s seconds ---' % (time.time()-start_time))

from multiprocessing import Pipe
import time

recv_end, send_end = Pipe(duplex=False)
d = {'word'+str(elem): elem for elem in range(5000)}  # changed to 5000

start_time = time.time()
send_end.send(d)
print('--- %s seconds ---' % (time.time()-start_time))

管道是否有尺寸限制,或者这是一个不可重复的问题?如果你把尺寸再大一点怎么样?如果有大小限制,最好的方法是什么来避免这个问题,并通过管道发送大字典?事先谢谢!

1 回复 | 直到 6 年前

RedEyed 6 年前

出现的问题是 Pipe.send() here .

#!/usr/bin/env python
from multiprocessing import Pipe, Process
import time
import sys


def foo(conn):
    d = {'word'+str(elem): elem for elem in range(5000)}  # changed to 5000
    conn.send(d)
    conn.close()


recv_end, send_end = Pipe(duplex=False)
p = Process(target=foo, args=(send_end, ))
p.start()

start_time = time.time()
recv_end.recv()  # Try to comment and you will see that it waits for being received
p.join()
print('--- %s seconds ---' % (time.time()-start_time))

推荐文章

eymentakak · json字典类型错误:字符串索引必须是整数

2 年前

Rohan Mittal · 按dict值对dict排序

2 年前

FÄÅ ÛÅ · 字典、列表和字符串

2 年前

mars · 将值作为元组对字典进行排序

2 年前

Sher Meen · 我需要列出一个循环中临时变量中存储的多个值

2 年前

Shubh · 如何将字典行附加到空数据帧中?

2 年前

Hariharan Ragothaman · python中多约束条件下按值排序字典

2 年前

t.pellegrom · 当您只有最后一层的键、值列表时,如何填充嵌套dict?

2 年前

kms · 从pandas中的字典中读取数据并指定新的列值

2 年前

Alex · 如何向嵌套字典json添加值?

2 年前