Python实现从51job上爬取了10万条职位数据，抽取“数据分析”岗，进行数据清洗，然后做了可视化分析期末作业

# 51job数据爬取与分析 #### 介绍 从51job上爬取了10万条（耗时50秒左右）职位数据，抽取“数据分析”岗，进行数据清洗，然后做了分析 #### 使用说明 1. get_data.py ：获取数据的爬虫程序，将爬取的数据存储在本地mysql数据库中。 2. 数据清洗.ipynb ：从数据库中读取数据并清洗，将结果输出到Excel表格 - 获取工作名中包含“数据”的工作信息 - 从‘6-8千/月’等工资格式中提取出有效薪资salary如：7000。 - 根据salary做一次分箱，方便之后进行分析 - 提取工作的城市信息 - 提取工作要求中的“学历要求” - 参照provinces.py中提供的省份字典，获取工作对应的省份 - 根据工作福利条数生成福利得分treatment_score 3. job1.pbix ：使用powerBI 对数据进行大致分析 - 月薪的描述性统计信息 - 月薪范围计数对比 - 不同学历的月薪均值 - 热门城市热力图、地图 - 福利词云图 #### 参与贡献 1. Fork 本仓库 2. 新建 Feat_xxx 分支 3. 提交代码 4. 新建 Pull Request #### 扩展 1. 可以分析其他职位的数据 2. 实习岗和全职岗可分开 ## 预览 ### 数据预览 清洗前：  清洗后：  ### 数据分析结果