在我们之前的章节中，我们已经了解到Lucene使用IndexWriter对文档进行分析，使用Analyzer创建/打开/编辑所需的索引。在本章中，我们将讨论各种类型的Analyzer对象和其他相关对象，这些对象在分析过程中使用。理解分析过程以及分析器的工作原理将使您深入了解Lucene如何索引文档。

以下是我们将在适当时讨论的对象列表。

序号 类名及描述
1 Token Token表示文档中的文本或单词，并包含相关的详细信息，如其元数据（位置、起始偏移量、结束偏移量、令牌类型及其位置增量）。
2 TokenStream TokenStream是分析过程的输出，它由一系列令牌组成。它是一个抽象类。
3 Analyzer 这是每种类型的分析器的抽象基类。
4 WhitespaceAnalyzer 此分析器根据空白符拆分文档中的文本。
5 SimpleAnalyzer 此分析器根据非字母字符拆分文档中的文本，并将文本转换为小写。
6 StopAnalyzer 此分析器的工作方式与SimpleAnalyzer相同，并删除常见词汇，如’a’、’an’、’the’等。
7 StandardAnalyzer 这是最复杂的分析器，能够处理名称、电子邮件地址等。它将每个令牌转换为小写，并删除常见词汇和标点符号（如果有）。

参考资料

https://www.tutorialspoint.com/lucene/lucene_search_operation.htm