基于Tflite的Flutter文本分类预处理

我目前正在进行一个个人项目,试图将文本分类模型与Flutter集成。我已经成功地集成了一个图像分类模型,但现在我遇到了文本分类模型的标记化问题。该模型使用以下预处理和编码层:

preprocessor = hub.KerasLayer(
    "https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3")
encoder = hub.KerasLayer(
    "https://tfhub.dev/google/universal-sentence-encoder-cmlm/en-base/1")

我找不到使用进行编码/预处理的方法 tflite 根据需要手动打包或标记 vocab.txt 文件,我无法为本例中使用的BERT模型找到该文件。

有关更多上下文,请参阅以下内容:

经过培训的型号代码
https://colab.research.google.com/drive/1L6i-Bx-IhxgXBOOENcE-JsoXgqZzZfvl#scrollTo=WRiJq7rg1cNr

Flutter代码
https://github.com/RevTpark/pokeDex-app