“达观杯”文本智能处理挑战赛python代码示例，逻辑回归方法.zip

# text-classification “达观杯”文本智能处理挑战赛python代码示例，逻辑回归方法 # 达观杯介绍： 类似kaggle的数据科学比赛，任何人可以参加 网址：http://www.dcjingsai.com/ 可以用支付宝实名注册 # 项目名称： “达观杯”文本智能处理挑战赛 安装Python，运行test.py代码。可以得到一个分数 # 项目代码说明： 在Python3中运行代码就可以 导入库函数 读取文件，并且删除无关东西 获取特征向量 进行训练，测试 保存文件为可以提交的CSV格式 # 输入说明 注意修改自己的路径 train_set.csv 1.5G, 普通电脑打开很吃力，随意阅读也吃力，谨慎打开； 第一行有：ID，article， Word_seg, class; id:文章数量编号102277个文本； article：文章内容，是一些数字； Word_seg:也是一些数字； class:文本对应的类别从1到20 test_set.csv 1.38Gb, 第一行有：ID，article， Word_sequence,内容和训练集一样，只是没有了类别标签 result.csv 865 KB, 第一行有ID， class；也就是预测每一个文档的类别 # 输出内容： ``` start /usr/local/lib/python3.7/site-packages/sklearn/externals/joblib/externals/cloudpickle/cloudpickle.py:47: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses import imp /usr/local/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:432: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning. FutureWarning) /usr/local/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:459: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning. "this warning.", FutureWarning) /usr/local/lib/python3.7/site-packages/sklearn/svm/base.py:922: ConvergenceWarning: Liblinear failed to converge, increase the number of iterations. "the number of iterations.", ConvergenceWarning) end [Finished in 1315.7s] ``` # 提升成绩的方法 方法 得分：0.73 数据预处理：这里的数据比较完整，不用担心 特征工程 这里技巧很足，需要不断的积累 机器学习算法 不同算法都有对应的任务类型。但是xgboost很厉害 lightboard微软开发的工具，适合大部分的情况，属于西瓜书第八章的内容。 数据增强： 给了1万条数据，变成10万条数据。