TextCat分类软件

1, 分类程序 使用步骤： ① 首先训练一个分类模型。点击"主菜单->训练KNN分类器"或"主菜单->训练SVM 分类器"，设置后相应的参数，当程序训练结束后，就会将分类模型保存到"训练 结果目录"，分类模型的文件名称为model.prj。但是，还会生成一些其他附属文 件的。 文件"features.dat"和"features.txt"为分类器进行了特征选择之后得到的特征 空间，前一个为二进制格式，分类时会读入此文件，后一个为文本格式，只是为 了让用户看到特征选择结果，分类程序不会用到此文件。 文件"train.dat"和"train.txt"为训练文档的向量形式。同样，前一个为二进制 格式，分类时会读入此文件，后一个为文本格式，只是为类让用户看到文档的向 量形式，分类程序不会用到此文件。如： 1 23:0.074294 35:0.018632 50:0.073530 第一列代表文档所属类别，注意它的类别编号从1开始，而0代表文档的类别未知。 剩余部分长度不定，格式为XX:YY，XX代表向量的第XX维(维的编码从1开始)，YY 代表这一维的权重(0-1之间)。 ② 点击"主菜单->打开分类模型"，打开一个上一步建立的分类模型，模型文件的 名称一般为model.prj。 ③ 点击"主菜单->开始分类"或"主菜单->对单个文件进行分类"，可以对指定目录 下的所有文件，或指定的文件进行分类。 ④ 点击"主菜单->查看结果"，查看分类的结果。如果提供了分类结果的答案，那 么可以计算分类的宏平均准确率、宏平均召回率、微平均准确率、微平均召回率分 类等指标；否则，只显示文档使用分类器分类后得到的结果。 注释： 训练参数"概率估算方法"中，"基于文档统计"代表在统计某个词的在文档出 现的频率时，只取0和1两个值，分别代表这个词在文档中是否出现；"基于词频统 计"代表在统计某个词的在文档出现的频率时，计算它真实出现的次数。 2, 格式转换 功能：用来将reuter21578转换为目录格式或者smart格式的文档。 参数："工作路径"的"源"所对应的reuter21578文件必须以sgm作为文件扩展名。 注释：reuter21578由21个reut2-0**.sgm(**代表00到21)文件和lewis.dtd组 成。其中reut2-0**.sgm是一个xml文件，lewis.dtd是对其数据结构的描述。但 是，reuter21578的lewis.dtd格式有问题，所以建议使用本程序所在目录下的 lewis.dtd替换reuter21578中的该文件。smart的格式如下所示: .I 15322 .C nat-gas 1; crude 1 .T U.S.SENATE LIFTS SOME BANS ON NATURAL GAS .W The Senate unanimously approved legislation to lift a ban on new construction of natural gas-fired power plants and other large industrial gas-burning plants. 其中，I代表文档的编号，C代表文档的类别，类别之间使用分号隔开，T代表文档 的标题，W代表文档的内容。 由于Yang Yiming的网站上提供的语料使用了这种格式，所以我在这里也借用了一 下这个格式。 3, 选择文档 功能：给定一个"源文档目录"，这个目录下存在许多文件夹，每个文件夹对应于一 个类别，这些文件夹下放着属于该类别的文档。本模块可以随机地选取"源文档目录 "下的文件，然后按照一定的比例将这些文档划分为训练集和测试集，并且保存到 "目标文档目录"。其中，训练集对应于目录"train"，测试集对于目录"test"。 注释："源文档目录"的直接子目录下不应该有文件，因为无法知道这些文件的类别， 所以在样本选择的时候不会考虑这些文档。 4, 分词 功能：对指定的文档进行分词，将分词结果保存到指定的文档中。或者，对指定目 录下的所有文档进行分词，将分词结果保存到指定的目录下。 注释："结果文档中去掉停用词"中使用的停用词表在应用程序的data目录下，文件 名称为stopwords.txt。用户可以自己修改这个词表，一个词对应于一行。我们的 分类程序在提取特征的时候是去掉停用词的。 感谢：我们分词模块来自于中科院计算所开源项目"汉语词法分析系统ICTCLAS"。在 此表示感谢。 5, 分类结果评测 功能：用户指定一个类别文件和一个分类结果文件，然后此模块可以计算出分类的 宏平均准确率、宏平均召回率、微平均准确率、微平均召回率分类评价指标。而且， 还可以曲线、直方图等方式查看文档在各个类别中的准确率、召回率，以及文档在 各个类别中的分布情况。 注释："类别文件"的格式如下所示，类别的编号从0开始。 0 环境 1 计算机 2 交通 3 教育 4 经济 5 军事 6 体育 7 医药 8 艺术 9 政治 "类别文件"的格式如下所示，类别的编号从0开始 0 51.TXT 0 0 1 5101.TXT 0 0 2 5104.txt 0 0 3 5107.txt 0 0 4 511.TXT 0 0 5 5112.txt 0 7 6 5115.txt 0 0 第一列代表文档的编号，第二列代表文档的名称，第三类代表文档实际所属的类别， 第四列代表文档在分类的时候分到的类别。对于多类分类的情况，即一篇文档可以 属于多个类别的时候，类别编号之间使用半角逗号隔开，如： 0 51.TXT 0,1,3 0,2,3 "类别文件"和"分类结果"文件在使用我们的分类程序进行分类的时候会自动生成， 保存在"分类结果目录"下。 6, 许可方式 请不要将本系统用于任何商业目的，违者必究!