StandardPlusTokenizer:Lucene 的 StandardTokenizer 的扩展

StandardPlusTokenizer Lucene 的 StandardTokenizer 的扩展。 此标记器标记除空格之外的所有字符。 （StandardTokenizer 不标记某些类型的字符：符号、标点符号……） 分配 建造 安装版本 2。 莱因罐 如果你修改 .flex，你应该得到并将 .flex 转换为 .java。 java -cp .../jflex-1.6.0.jar jflex.Main src/java/jp/co/mixi/rd/lucene/analysis/StandardPlusTokenizerImpl.jflex 在 4.10.0 之后，您应该编辑结果 src/java/jp/co/mixi/rd/lucene/analysis/StandardPlusTokenizerImpl.java。 用法 将StandardPlusTokenizer