代码之家  ›  专栏  ›  技术社区  ›  aerin

pytorch在哪里实现了嵌入“max\u norm”?

  •  0
  • aerin  · 技术社区  · 6 年前

    “嵌入”类文档 https://pytorch.org/docs/stable/nn.html

    max_norm (float, optional) – If given, will renormalize the embedding vectors to have a norm lesser than this before extracting.

    1) 在我的模型中,我使用这个嵌入类作为参数,而不仅仅是作为输入(模型学习嵌入)。在这种情况下,我假设每次更新发生时,嵌入都会被重新规范化,而不仅仅是在初始化时。我的理解正确吗?

    https://pytorch.org/docs/stable/_modules/torch/nn/modules/sparse.html 有人能给我指一下 max_norm 实施?

    1 回复  |  直到 6 年前
        1
  •  2
  •   Umang Gupta    6 年前

    如果你看到 forward 嵌入类中的函数 here ,有一个参考 torch.nn.functional.embedding here 这意味着它是一个cpp实现。在pytorch repo上的一些github搜索指向这个文件( 1 , 2

    对1的回答是肯定的。答案2在上面。