使用了中文文本数据集,并使用jieba库进行中文分词处理。
data_preprocess()函数用于读取数据和对数据进行预处理,比如去除数字、标点符号、停用词等。
calculate_tfidf()函数用于计算文本的TF-IDF特征。
text_classification_1()函数是一个分类器的训练和评估过程,使用了K近邻、支持向量机、多层感知器等分类器,并使用sklearn库中的相关方法。
text_classification_2()函数与text_classification_1()相似,但使用了sklearn库中的TfidfVectorizer来提取TF-IDF特征。
tfidf_train()函数用于训练TF-IDF特征提取器,并将特征提取器保存到磁盘。
tfidf_test()函数用于加载保存在磁盘上的TF-IDF特征提取器,并使用它来处理测试数据。
svm_grid()函数用于使用网格搜索法寻找最佳的支持向量机模型。
最后,主程序部分调用了以上的函数来完成文本分类任务,并输出了分类结果的准确率、精确度、召回率和F1值的平均值。