代码之家  ›  专栏  ›  技术社区  ›  ottomd

TensorFlow词汇处理器的替代方案是什么?

  •  5
  • ottomd  · 技术社区  · 6 年前

    它说它已被弃用,将来将被删除。另一行写着“请使用tensorflow/transform或tf.data”。我在网上搜索了一下,但找不到答案。这是给我的警告:

    # Change texts into numeric vectors
    vocab_processor = tf.contrib.learn.preprocessing.VocabularyProcessor(max_sequence_length,min_frequency=min_word_frequency)
    
    1 回复  |  直到 6 年前
        1
  •  2
  •   Kuzeko    6 年前

    我也没有解决它。 这里有一组解释:

    tf.contrib.learn.preprocessing: 已弃用。仅python 预处理函数不太适合TensorFlow。请使用 tf。数据,并考虑更复杂用例的tensorflow/transform。

    https://github.com/tensorflow/tensorflow/blob/r1.8/tensorflow/contrib/learn/README.md

    此示例应有助于。。。但这解释不了多少 https://github.com/tensorflow/transform/blob/master/examples/sentiment_example.py

    review_indices = tft.compute_and_apply_vocabulary(
                        review_tokens, top_k=VOCAB_SIZE)