代码之家 › 专栏 › 技术社区 › zinger44

如何将数据集从Huggingface移动到谷歌云?

huggingface-datasets google-cloud-platform

zinger44 · 技术社区 · 2 年前

我正在尝试使用huggingface multi_nli在谷歌云中训练一个文本多分类ai。我想最终从firebase网络应用程序中调用人工智能。但当我在colab中尝试这段代码时:

!pip install datasets
from datasets import load_dataset



# Load only train set
dataset = load_dataset(path="multi_nli", split="train")

它说它保存在/root/中。cache/huggingface/datasets/multi_nli/default/0.0.0/591f72e。。。但我找不到这个文件,只有一个可变版本,所以我无法将其移动到谷歌云。下载工作缺少什么?有没有其他解决办法让它进入谷歌云?

0 回复 | 直到 2 年前

Gabriel Martín Blazquez 2 年前

用这种方法很容易 Dataset.save_to_disk 还有包裹的帮助 gcsfs 。您需要先安装 gcsfs :

pip install gcsfs

然后你可以使用这些方法 数据集。保存到磁盘 和 Dataset.load_from_disk 从谷歌云存储桶中保存并加载数据集。要保存它:

from datasets import load_dataset
from gcsfs import GCSFileSystem

fs = GCSFileSystem()

dataset = load_dataset(path="multi_nli", split="train")

dataset.save_to_disk("gs://YOUR_BUCKET_NAME_HERE/multi_nli/train", fs=fs)

这将在谷歌云存储桶中创建一个目录 BUCKET_NAME_HERE 使用数据集的内容。然后,要将其加载回,只需执行以下操作:

from datasets import Dataset
from gcsfs import GCSFileSystem

fs = GCSFileSystem()

dataset = Dataset.load_from_disk("gs://YOUR_BUCKET_NAME_HERE/multi_nli/train", fs=fs)

有关更多信息,请参阅:

推荐文章

Saravana Kumar · 是否将值插入结构列?

1 年前

Supplementing · 使用nuxt在谷歌应用程序引擎上部署失败

1 年前

mehere · 谷歌搜索控制台-批量导出-缺少权限

1 年前

Chris A · 生成中未拾取环境变量

2 年前

zinger44 · 如何将数据集从Huggingface移动到谷歌云?

2 年前

Mazen Ezzeddine · 使用一点上下文搜索谷歌云日志(匹配关键字的日志和匹配日志前后的少量日志。)

2 年前

nav112 · 在GCP中将桶数据从区域移动到多区域

2 年前

so beautiful memory · 如何将我在本地训练的tensorflow模型正确部署到谷歌云人工智能平台?我部署了它,但没有图像返回

2 年前

Theo75 · R库将消息发布到Google Cloud Pub/Sub主题

2 年前

Itamar Cohen · 谷歌管理的SSL证书不起作用

2 年前