代码之家 › 专栏 › 技术社区 › bluesummers

tf。数据数据集。padded\u批处理填充每个功能

tensorflow-datasets tensorflow python

bluesummers · 技术社区 · 6 年前

我有一个 tf.data.Dataset 包含3个不同功能的实例

label 这是一个标量
sequence_feature 这是一个标量序列
seq_of_seqs_feature 这是一个序列特征

我正在尝试使用 tf.data.Dataset.padded_batch() 生成填充数据作为我的模型的输入,我想以不同的方式填充每个特性。

批次示例:

[{'label': 24,
  'sequence_feature': [1, 2],
  'seq_of_seqs_feature': [[11.1, 22.2],
                          [33.3, 44.4]]},
 {'label': 32,
  'sequence_feature': [3, 4, 5],
  'seq_of_seqs_feature': [[55.55, 66.66]]}]

预期输出:

[{'label': 24,
  'sequence_feature': [1, 2, 0],
  'seq_of_seqs_feature': [[11.1, 22.2],
                          [33.3, 44.4]]},
 {'label': 32,
  'sequence_feature': [3, 4, 5],
  'seq_of_seqs_feature': [[55.55, 66.66],
                           0.0, 0.0    ]}]

正如您所看到的 标签 不应填充功能,并且 sequence\u功能 和 seq\u of\u seqs\u功能 应使用给定批次中相应的最长条目进行填充。

1 回复 | 直到 6 年前

mrry 6 年前

这个 tf.data.Dataset.padded_batch() 方法允许您指定 padded_shapes 对于结果批次的每个组件(特征)。例如,如果调用了输入数据集 ds :

padded_ds = ds.padded_batch(
    BATCH_SIZE,
    padded_shapes={
        'label': [],                          # Scalar elements, no padding.
        'sequence_feature': [None],           # Vector elements, padded to longest.
        'seq_of_seqs_feature': [None, None],  # Matrix elements, padded to longest
    })                                        # in each dimension.

请注意 padded\u形状 参数的结构与输入数据集的元素相同,因此在本例中,它需要一个字典,其中的键与功能名称匹配。

推荐文章

albert · AttributeError:“str”对象没有属性“str”如何解决此问题

2 年前

Anshuman Sinha · 将tensforflow中的所有nan值转换为零

2 年前

CoccoSyn · Keras TypeError:其中一个输入没有可接受的类型。具有参差不齐张量的LSTM

2 年前

rob me of my freedom · 在不使用Y_pred和Y_actual的tensorflow中编写自定义损失

2 年前

Chris · 如何捕获导入脚本功能的打印

2 年前

Jay Bhie Santos · 剩余GRU:ValueError:输入具有不兼容的形状。收到的形状(5)和(24)

2 年前

Danijel · C中TensorFlow模型文件的路径?

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

Arya Anish · tensorflow安装中面临的问题

2 年前

so beautiful memory · 如何将我在本地训练的tensorflow模型正确部署到谷歌云人工智能平台?我部署了它,但没有图像返回

2 年前