代码之家 › 专栏 › 技术社区 › sww

Pytorch隐藏状态LSTM

rnn pytorch lstm

sww · 技术社区 · 7 年前

为什么我们需要在pytorch的LSTM中初始化隐藏状态h0。因为h0无论如何都会被计算并被覆盖?是不是

内景a a=0

a=4

即使我们不做a=0,也应该没问题。。

1 回复 | 直到 7 年前

nemo 7 年前

关键是您能够提供初始状态,这是一个特性。他们本可以将其作为默认值实现,但通过让您控制张量的分配,您可以节省一些内存(分配一次,每次调用都归零)。

为什么需要设置 h ?序列到序列模型需要这样做(将输入压缩到一个向量,将此向量用作解码器的隐藏状态),或者您可能希望使初始状态可学习。

推荐文章

jamesk · 在空间中识别“it”主题

7 年前

ZHANG Juenjie · 使用RNN生成一系列张量

7 年前

A. Syam · 没有名为“tqdm”的模块

7 年前

Nimy Alex · 整数序列学习中出现错误“ValueError:无法将字符串转换为浮点”

7 年前

dragster · tensorflow的tf是怎样的。contrib。训练batch_sequences_with_states API工作?

7 年前

Dmitri K · sin延迟回波-无法再现张量流,导致KERA

7 年前

DarkHawk · tensorflow中LSTM的多元输入

7 年前

Peter Kim · Imdb review编码错误

7 年前

MatthewScarpino · TensorFlow的RNN单元和信元

7 年前

Guanghua Shu · tf。nn。rnn_单元。MultiRNNCell创建可变形状不匹配?

7 年前