基于python的Web数据挖掘技术研究与实现

python 作为数据挖掘领域中较为热门的程序语言，其丰富的技术库和强大的科学计算能 力成为数据挖掘过程中不可或缺的工具。本次研究主要是基于python语言对智联 招聘网的数据进行数据挖掘分析和建模，进而得出招聘信息薪资待遇预测分类模 型。 本次研究主要分为如下步骤：数据源选择、数据采集、数据存储、数据预处理、 数据建模和模型评估，通过算法构建了近邻和决策树两种分类模型，其次对两种 模型的混淆矩阵数据进行计算，比较模型的预测准确率，最终得出准确率较高的 数据模型。 本次研究所得的分类模型，可以帮助被招聘者在浏览网站招聘信息时预测薪 资待遇水平，有效的评估招聘内容是否合适，以及对招聘岗位提供的薪资待遇是 否感到满意，进而有效的提高求职者在寻求招聘岗位吋的效率。同时，该模型对于企业优化招聘信息也起到反馈性作用。企业可以根据模型 对市场中现有招聘信息薪资水平进行有效分类，从而得到市场不同岗位的薪资水 平分布现状，进而对企业招聘内容进行合理的调整，提高企业招聘效率，节约招 聘成本，优化企业人才结构，提高企业在行业的竞争力。 关键词：数据挖掘、python＞分类算法、scrapy网络爬虫