sphinx分词索引 手册

### Sphinx 分词索引手册知识点概述 #### 一、Sphinx 概述 **1.1 什么是 Sphinx** Sphinx 是一款高性能、基于 SQL 的全文检索服务器，它为应用程序提供了一个独立的、易于使用的全文搜索功能。Sphinx 主要用于数据库表和其他结构化数据源的快速全文搜索。 **1.2 Sphinx 的特性** - **高性能**: Sphinx 在搜索速度方面表现卓越，能够在几毫秒内返回成千上万条记录的搜索结果。 - **易用性**: 提供了简单的 API 和命令行工具，使得集成到现有应用非常容易。 - **灵活**: 支持多种数据源类型，如 MySQL、PostgreSQL 等，并且可以通过 XML 数据源进行扩展。 - **丰富的功能**: 包括布尔查询、扩展查询、结果分组、分布式搜索等高级搜索功能。 - **支持多种语言**: 提供 C、Perl、PHP、Python、Ruby 等多种语言的 API 接口。 - **实时更新**: 支持实时索引更新机制，确保索引内容与数据源同步。 - **开源**: 采用 GNU General Public License v2 许可证发布。 **1.3 如何获得 Sphinx** Sphinx 可以通过官方网站下载最新的发行版或从 Git 仓库克隆源代码自行编译。 **1.4 许可协议** Sphinx 使用 GPL v2 许可证，这意味着它可以免费用于个人和商业项目。 **1.5 作者和贡献者** Sphinx 最初由 Andrew Aksyonoff 开发，后来得到了社区的广泛支持和贡献。 **1.6 开发历史** 自 2001 年首次发布以来，Sphinx 经历了多个版本的迭代和发展，当前版本为 2.0 (Sphinx 0.9.8)。 #### 二、安装 **2.1 支持的操作系统** Sphinx 支持多种操作系统，包括但不限于 Linux、Mac OS X、Windows。 **2.2 依赖的工具** 安装 Sphinx 前需要确保系统中已经安装了一些必要的工具，如 GCC 编译器、Make 工具等。 **2.3 安装 Sphinx** 安装过程一般包括下载源码包、解压、配置、编译和安装等步骤。 **2.4 已知的问题和解决方法** 安装过程中可能会遇到一些常见问题，比如依赖库缺失、编译错误等，这些问题通常都有相应的解决办法。 **2.5 Sphinx 快速入门教程** 快速入门教程通常包括安装、创建索引、执行简单搜索等基本操作。 #### 三、建立索引 **3.1 数据源** 数据源是指索引构建时使用的原始数据来源，可以是数据库表、XML 文件或其他结构化数据。 **3.2 属性** 属性是索引中的字段，例如标题、描述、日期等，它们决定了搜索的范围和效果。 **3.3 多值属性 (MVA)** 多值属性允许一个文档具有多个值，常用于表示分类或标签。 **3.4 索引** 索引是 Sphinx 存储和组织数据的一种方式，它是实现快速搜索的基础。 **3.5 数据源的限制** 不同的数据源可能有不同的限制，例如最大文件大小、支持的数据类型等。 **3.6 字符集、大小写转换、和转换表** 为了提高搜索效率和准确性，Sphinx 支持多种字符集和大小写转换规则。 **3.7 SQL 数据源 (MySQL, PostgreSQL)** Sphinx 可以直接从 SQL 数据库中读取数据来创建索引，支持 MySQL 和 PostgreSQL 等数据库。 **3.8 XMLpipe 数据源** XMLpipe 是一种用于将 XML 文件转换为 Sphinx 索引格式的工具。 **3.9 XMLpipe2 数据源** XMLpipe2 是 XMLpipe 的增强版本，提供了更灵活的数据处理能力。 **3.10 实时索引更新** 实时索引更新允许在数据源发生变化时自动更新索引，以保持索引的时效性。 **3.11 索引合并** 索引合并是指将多个小索引合并成一个大索引的过程，以提高搜索性能。 #### 四、搜索 **4.1 匹配模式** Sphinx 支持三种主要的匹配模式：布尔模式、短语模式和自然语言模式。 **4.2 布尔查询** 布尔查询允许使用 AND、OR 和 NOT 关键字来组合多个条件。 **4.3 扩展查询** 扩展查询支持更复杂的语法，如近义词、通配符等。 **4.4 权值计算** Sphinx 使用特定算法计算文档的相关度，权值高的文档会优先显示。 **4.5 排序模式** 用户可以根据需求选择不同的排序方式，如按相关度、时间等排序。 **4.6 结果分组（聚类）** 结果分组是指将搜索结果按照某种标准进行分组展示，例如按类别分组。 **4.7 分布式搜索** 分布式搜索支持跨多个节点执行搜索任务，适用于大规模数据环境。 **4.8 searchd 日志格式** searchd 日志格式记录了搜索服务器的操作日志，可用于调试和分析。 #### 五、API 参考 **5.1 通用 API 方法** - **GetLastError**: 获取最近一次调用产生的错误信息。 - **GetLastWarning**: 获取最近一次调用产生的警告信息。 - **SetServer**: 设置搜索服务器的地址和端口。 - **SetRetries**: 设置重试次数。 - **SetArrayResult**: 设置结果以数组形式返回。 **5.2 通用搜索设置** - **SetLimits**: 设置返回结果的数量和偏移量。 - **SetMaxQueryTime**: 设置查询的最大时间限制。 **5.3 全文搜索设置** - **SetMatchMode**: 设置匹配模式。 - **SetRankingMode**: 设置排名模式。 - **SetSortMode**: 设置排序模式。 - **SetWeights**: 设置权重。 - **SetFieldWeights**: 设置字段权重。 - **SetIndexWeights**: 设置索引权重。 **5.4 结果集过滤设置** - **SetIDRange**: 设置 ID 范围。 - **SetFilter**: 设置过滤条件。 - **SetFilterRange**: 设置数值范围过滤条件。 - **SetFilterFloatRange**: 设置浮点数范围过滤条件。 - **SetGeoAnchor**: 设置地理坐标过滤条件。 **5.5 GROUPBY 设置** - **SetGroupBy**: 设置分组字段。 - **SetGroupDistinct**: 设置唯一标识符。 **5.6 搜索** - **Query**: 发送搜索请求。 - **AddQuery**: 添加搜索请求。 - **RunQueries**: 执行搜索请求。 - **ResetFilters**: 清除过滤条件。 - **ResetGroupBy**: 清除分组设置。 **5.7 额外的方法** - **BuildExcerpts**: 构建摘要。 - **UpdateAttributes**: 更新属性。 #### 六、MySQL 存储引擎 (SphinxSE) **6.1 SphinxSE 概览** SphinxSE 是 Sphinx 的 MySQL 存储引擎插件，它允许直接在 MySQL 表中执行全文搜索。 **6.2 安装 SphinxSE** - **在 MySQL 5.0.x 上编译 SphinxSE** - **在 MySQL 5.1.x 上编译 SphinxSE** - **SphinxSE 安装测试** **6.3 使用 SphinxSE** 使用 SphinxSE 需要在 MySQL 中创建特殊的表，并指定使用 SphinxSE 存储引擎。 #### 七、报告 bugs 如果在使用过程中发现了 bug 或者有改进建议，可以通过官方渠道提交。 #### 八、sphinx.conf 选项参考 **8.1 Datasource 配置选项** - **type**: 数据源类型。 - **sql_host**: 数据库主机地址。 - **sql_port**: 数据库端口号。 - **sql_user**: 数据库用户名。 - **sql_pass**: 数据库密码。 - **sql_db**: 数据库名称。 - **sql_sock**: 数据库套接字文件。 - **mysql_connect_flags**: 连接标志。 - **sql_query_pre**: 预处理 SQL 查询。 - **sql_query**: 主查询。 - **sql_query_range**: 范围查询。 - **sql_range_step**: 范围步长。 - **sql_attr_uint**: 无符号整型属性。 - **sql_attr_bool**: 布尔型属性。 - **sql_attr_timestamp**: 时间戳属性。 - **sql_attr_str2ordinal**: 字符串转序号属性。 - **sql_attr_float**: 浮点型属性。 - **sql_attr_multi**: 多值属性。 - **sql_query_post**: 后处理 SQL 查询。 - **sql_query_post_index**: 索引后处理 SQL 查询。 - **sql_ranged_throttle**: 范围查询限制。 - **sql_query_info**: 信息查询。 - **xmlpipe_command**: XML 数据源命令。 - **xmlpipe_field**: XML 字段名。 - **xmlpipe_attr_uint**: XML 无符号整型属性。 - **xmlpipe_attr_bool**: XML 布尔型属性。 - **xmlpipe_attr_timestamp**: XML 时间戳属性。 - **xmlpipe_attr_str2ordinal**: XML 字符串转序号属性。 - **xmlpipe_attr_float**: XML 浮点型属性。 - **xmlpipe_attr_multi**: XML 多值属性。 **8.2 索引配置选项** - **type**: 索引类型。 - **source**: 数据源名称。 - **path**: 索引文件路径。 - **docinfo**: 文档信息存储方式。 以上知识点涵盖了 Sphinx 的主要特性和使用方法，可以帮助开发者更好地理解和使用这一强大的全文检索工具。