代码之家 › 专栏 › 技术社区 › FiReTiTi

pytorch数据加载器和并行性

pytorch

FiReTiTi · 技术社区 · 6 年前

我已经创建了一个类,它扩展数据集来为分割任务加载图像,因此一个输入和一个输出。每次调用getItem方法时,该类都会对输入和输出执行必要的数据扩充操作,并且工作得很好。

但是,当我将这个类用于pytorch数据加载器时,输入转换与输出转换不匹配。要执行相同的操作,我必须获取/设置随机操作/类的状态,我敢打赌数据加载器也会执行相同的操作,因此它们之间存在冲突。

我怎么修?

1 回复 | 直到 6 年前

FiReTiTi 6 年前

解决方案是创建所有随机类使用的本地实例,因为数据加载器没有。这样,执行的所有随机转换都是根据不受数据加载器影响的随机值/状态进行的。通常的方法是创建一个类并将所有的转换放在里面。

推荐文章

Ze0ruso · 做模型。eval()在代码中的位置有什么关系?

2 年前

rkraaijveld · sklearn的Coef。线性回归为无

2 年前

Ellis Thompson · 填充一个numpym数组以满足所需的大小

2 年前

Adam · 如何在多个模型上并行运行PyTorch推理?

2 年前

quinlan · 是dgl。nn。皮托克。GraphConv聚合边缘信息?

2 年前

Ofek Nourian · 完全连通的简单自回归模型预测

2 年前

MrThiele1708 · 运行时错误:mat1和mat2形状不能相乘(5400x64和5400x64)

2 年前

Moodhi · 计算GEC的F分数

2 年前

john wang · matlab使用可调用的python函数,但需要输入

2 年前

odbhut.shei.chhele · 如何解决错误:RuntimeError:收到0项ancdata

2 年前