华迪hadoop大数据开发训练

第二阶段模块开发训练： 1）网络数据采集，使用requests或者scrapy爬取数据（不能使用我案例中爬取的页面），存储到一个文本文件（文件命名为：姓名-学号-数据源文件.txt）中。 2）使用Spark RDD或者Spark Sql，读取“姓名-学号-数据源文件.txt”内容，对某一个字段的数据进行统计，获得词频前10的字段数据。把结果放在一个文本文件里面，命名为：姓名-学号-排行结果.txt 不能爬取下面2个网页内容，可以爬取其网站的其他网页内容 http://www.yingjiesheng.com/commend-fulltime-{}.html https://www.bilibili.com/v/popular/rank/all 要求： 1）7月15号21:00前提交作业 2）提交的作业为：爬虫项目+处理数据项目+姓名-学号-数据源文件.txt+姓名-学号-排行结果.txt四个内容放在一个文件夹里面打包，命名为：姓名-学号-第二阶段作业.rar（或者zip），然后发给我。可以发邮件+私聊窗口（21:00前有效）