项目背景
大数据和“云计算”像是一枚硬币的正反面一样慢慢勾勒出当今世界的财
富价值风向。大数据的出现得益于互联网行业的快速发展、计算机硬件和软件
能力的不断提升。大数据技术现已被应用到各行各业，而在招聘求职领域，我
们希望通过爬虫技术、机器学习、文本挖掘、统计分析等手段帮助求职者更好
的了解市场需求，从而有一个清晰、明确的求职方向。
系统需求分析
通过对信息的挖掘分析，可以更加精准、清晰的指导求职者所在行业的待遇
水平、自身可能的待遇、以及对公司、行业的选择。
需求一：网络爬虫
网络爬虫根据选定的网站列表（如智联招聘，51job 等）进行爬取，爬取网
站公布的招聘信息。并将爬取到的信息进行整理后存储在数据库中。
需求二：数据存储转换
解决爬取下来的数据抽取、转换、加载到大数据平台的问题。即把 MySQL 的
数据通过 sqoop 工具加载到 Hadoop 平台中的 HBase 数据库。
需求三：数据分析处理
解析爬取的数据，进行行业招聘态势的分析。通过文本信息提取、分词、关
键词提取、词频统计等数据分析算法，得到有价值的结论，同时为求职者的职位
智能推荐及网页展示功能做准备。
需求四：智能检索和推荐
分析选手的求职信息，设计数据分析算法为求职者推荐多元化的信息和匹配
的职位。
需求五：应用开发和部署
开发可与用户进行交互的推荐系统，有快速和精准的推荐和良好的用户体验效果。
评论0