Sagemaker模型培训中设备上没有剩余空间

我在p2实例上使用Docker映像附带的自定义算法和AWS Sagemaker(有点类似 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/advanced_functionality/scikit_bring_your_own/scikit_bring_your_own.ipynb )

在培训过程结束时,我试图将我的模型写到output目录,该目录通过Sagemaker(如教程中所示)安装,如下所示:

model_path = "/opt/ml/model"
model.save(os.path.join(model_path, 'model.h5'))

不幸的是,很明显模型随着时间的推移变得太大了,我得到了 以下错误:

运行时错误:关闭文件时出现问题(文件写入失败:time=Thu Jul 2018年26:00:24:48

00:24:49,文件名='model.h5',文件描述符=22,错误号=28, 错误消息='设备上没有剩余空间',buf=0x1a41d7d0,总计 写[…]

所以我所有的GPU时间都浪费了。我怎样才能防止这种情况再次发生?有人知道我存储在Sagemaker/挂载目录中的模型的大小限制吗?