Lucene 搜素 分词
本版本从CSDN中获得,原内容可从CSDN的网上看到http://book.csdn.net/bookfiles/276/.
希望大家共同探讨.QQ群: 12966179
王小波
2008/12/10
如果想要搜索存储在硬盘上的文件、电子邮件、或网页，甚至是数据库中的数据，Lucene都可以帮你完成。但是，在进行搜索以前，你必须预先完成对这些数据的索引操作（Indexing），这正是本章所要讲解的主题。接下来，你将学会如何对数据进行索引。
在第1章中我们演示了一个简单的索引过程的例子。这一章将更加深入地讲解索引的更新操作、如何通过参数来调整索引的过程，以及更高级的索引操作技巧，从而帮助你更加全面地理解Lucene。本章还涉及Lucene索引的内部结构，用多线程和多进程访问Lucene时的重点和难点，以及防止并发索引修改的锁机制这些内容。
《Lucene in Action》中文版讨论的是Apache Lucene，这是一个强大的全文搜索引擎库，适用于Java开发。Lucene能够帮助开发者高效地搜索存储在不同媒介上的数据，如硬盘文件、电子邮件、网页，甚至数据库中的内容。然而，为了实现搜索，首先需要对数据进行索引。
索引是Lucene的核心操作，它包括三个主要阶段：数据转换成文本、文本分析和将分析后的数据写入索引库。在数据转换阶段，原始数据需转化为Lucene能理解的纯文本格式。例如，PDF或Word文档等非文本格式的数据需要先进行文本提取。对于HTML和XML等文本文件，可能还需要预处理，去除无意义的标记。
文本分析阶段，Lucene会对文本进行分词，将连续的文本拆分成一系列有意义的单元，即语汇单元。这些单元可能会经过进一步处理，如转为小写以实现不区分大小写的搜索，或者去除停用词，这些词在搜索中通常不包含有价值的信息。此外，词干提取也可能被应用，以减少词汇的不同形式对索引的影响。分析过程的灵活性和复杂性是Lucene的一大特色，第4章会对这一主题进行深入探讨。
分析后的数据被写入倒排索引，这是Lucene实现高效搜索的关键数据结构。倒排索引不是按照文档组织关键词，而是按照关键词组织文档，这样当查询特定关键词时，可以直接快速地找到包含该关键词的文档。这种方式极大地提高了搜索速度，与我们日常使用网络搜索引擎的体验一致。
在处理多线程和多进程访问时，Lucene需要考虑并发控制，以防止索引的冲突和数据不一致。它采用了锁机制来管理并发索引修改，确保数据的一致性和完整性。
通过深入理解这些概念，读者将能更好地掌握如何使用Lucene构建高效的全文搜索引擎，无论是在网站、文件系统还是数据库中，都能实现快速、准确的搜索功能。在后续章节中，本书还会详细介绍如何处理不同类型的文档、调整索引参数以优化性能，以及更多关于Lucene索引内部结构和高级技术的应用。
