基于机器学习的Web文本自动分类.pdf

基于机器学习的Web文本自动分类 本文研究的是基于机器学习的Web文本自动分类系统，该系统可以自动对Web文本进行分类，提高搜索引擎的精度，满足用户对搜索结果的需求。该系统主要包括网络蜘蛛、中文分词、特征选取和贝叶斯分类器等功能模块。 1. 网络蜘蛛 网络蜘蛛是该系统的核心组件，负责抓取Web文档中的信息。网络蜘蛛有两种策略来遍历Web空间：广度优先和深度优先。采用的广度优先策略，可以提高网络蜘蛛的抓取速度。 2. HTML结构化解析 为了正确提取HTML文档中的链结和文本信息，需要对HTML进行解析，将HTML字符流变为由HTML标签系列组成的结构化文档。按照Robots协议，网络蜘蛛访问一个网站时，应该首先访问一个特殊的文本文件Robots.txt，该文件通常位于网站服务器的根目录下，网站管理员可以通过Robots.txt来定义哪些目录不能被网络蜘蛛访问，或者哪些目录对某些特定的网络蜘蛛不能被访问。 3. Web文本预处理 Web文本预处理包括文本内容过滤和中文分词。文本内容过滤是从网络蜘蛛输出的Web文本中提取用于分类的文本内容，中文分词把中文文本内容切分成中文词条。 4. 特征选取 特征选取是该系统的关键步骤，通过学习用户感兴趣的样本文本，自动建立用于Web文本分类的特征词库，通过特征词条匹配自动实现Web文本分类。 5. 贝叶斯分类器 贝叶斯分类器是该系统的分类器，通过学习用户感兴趣的样本文本，自动建立用于Web文本分类的特征词库，通过特征词条匹配自动实现Web文本分类。 6. 系统架构 该系统的架构包括网络蜘蛛、中文分词、特征选取和贝叶斯分类器等功能模块。网络蜘蛛负责抓取Web文档中的信息，中文分词把中文文本内容切分成中文词条，特征选取自动建立用于Web文本分类的特征词库，贝叶斯分类器通过特征词条匹配自动实现Web文本分类。 7. 实验结果 该系统的实验结果表明，该系统可以有效地提高搜索引擎的精度，满足用户对搜索结果的需求。