基于关键词表达式模型的文本自动分类系统的研究与实现

基于关键词表达式模型的文本自动分类系

统的研究与实现

Research and Implementation of Text Categorization

System Based on Keyword Expressions

常毅() 张鑫( 谭建龙(Tan jianlong) 白硕(Bai shuo)

（中国科学院计算技术研究所 Institute of Computing Technology , CAS 100080）

E-mail: changyi@ncic.ac.cn

中图法分类号 TP391

Abstract：In recent years , information processing turns more and more important for us to get

useful information . Text Categorization, the automated assigning of natural language texts to

predefined categories based on their contents, is a task of increasing importance. This paper gives

a research to several key techniques about Text Categorization , including Vector Space Model ,

Feature Extraction , Machine Learning . It also describes a text categorization model based on

VSM, and gives the evaluations and results .

Key words：Text Categorization Chinese Information Processing Vector Space Model

1 引言

基于统计技术的文本分类系统能依据文本的语义将大量的文本自动分门别类，从而更

好地帮助人们把握文本信息。近年来，文本分类技术已经逐渐与搜索引擎、信息推送、信

2.1 系统任务

简单地说，文本分类系统的任务是：在给定的分类体系下，根据文本的内容自动地确

定文本关联的类别。从数学角度来看，文本分类是一个映射的过程，它将未标明类别的文

本映射到已有的类别中，该映射可以是一一映射，也可以是一对多的映射，因为通常一篇

文本可以同多个类别相关联。用数学公式表示如下：

文本分类的映射规则是系统根据已经掌握的每类若干样本的数据信息，总结出分类的

规律性而建立的判别公式和判别规则。然后在遇到新文本时，根据总结出的判别规则，确

定文本相关的类别。

2.2 评估方法

我们使用评估文本分类系统的两个指标：准确率和查全率。准确率是所有判断的文本中与

的基本思想是以向量来表示文本：（W1,W2,W3……Wn），其中 Wi 为第 i 个特征项的

权重，那么选取什么作为特征项呢，一般可以选择字、词或词组，根据实验结果，普遍认

为选取词作为特征项要优于字和词组，因此，要将文本表示为向量空间中的一个向量，就

首先要将文本分词，由这些词作为向量的维数来表示文本。词频分为绝对词频和相对词频

绝对词频，即使用词在文本中出现的频率表示文本，相对词频为归一化的词频，其计算方

法主要运用 TF-IDF 公式，目前存在多种 TF-IDF 公式，一种比较普遍的 TF-IDF 公式：

其中， 为词 t 在文本 中的权重，而 为词 t 在文本 中的词

频，N 为训练文本的总数， 为训练文本集中出现 t 的文本数，分母为归一化因子。

训练方法和分类算法是分类系统的核心部分，目前存在多种基于向量空间模型的训练

3.1 关键词表达式

关键词表达式是大多数搜索引擎使用的查询语言。我们这里定义的关键词表达式

（Keyword expression）为，

keyword expression := keyword [and keyword ]

例如 keyword expression=“大海” and “海鸥“ 表示如果文本中同时出现“大海” 和 “海鸥“，

则这个文档满足关键词表达式。

3.2 文本表示模型

般为 10 万左右。P