词汇缓存
DL4J 中处理一般 NLP 任务的机制。
词汇缓存或词汇缓存是 Deeplearning4j 中用于处理通用自然语言任务的一种机制，包括普通的 TF-IDF、词向量和某些信息检索技术。
词汇缓存的目标是成为文本向量化的一站式商店，封装词袋和词向量常用的技术等。
词汇缓存通过倒排索引处理标记、字数频率、逆文档频率和文档出现的存储。 InMemoryLookupCache 是参考实现。
为了在迭代文本和索引标记时使用词汇缓存，您需要确定标记是否应该包含在词汇中。标准通常是标记是否在语料库中以超过某个预先配置的频率出现。
低于该频率，单个标记不是词汇，它仍然只是一个标记。
我们也跟踪 tokens。为了跟踪 tokens，请执行以下操作：
addToken(new VocabWord(1.0,"myword"));
当您要添加词汇时，请执行以下操作：
addWordToIndex(0, Word2Vec.UNK);
putVocabWord(Word2Vec.UNK);
将单词添加到索引会设置索引。 然后你将它声明为一个词汇。
（将其声明为词汇词将从索引中提取该词。）
参考资料
https://deeplearning4j.konduit.ai/deeplearning4j/tutorials/language-processing/vocabulary-cache
