案例正文_网易云音乐大数据系统1
需积分: 0 169 浏览量
2022-08-08
18:41:58
上传
评论 1
收藏 2.19MB DOCX 举报
网易云音乐大数据系统构建
作者：王彬，陈香，林丽，谭学，杨磊，冯永
单位：重庆大学，计算机学院
案例版权：该案例归重庆大学计算机学院所有
涉及的知识点：网络爬虫、Hadoop 、Spark、图数据库、贝叶斯分类器、LSTM
案例来源及案例真实性情况：该案例来源于重庆大学计算机学院专业硕士
（电子信息）课程《大数据架构与技术》中的学生精选汇编课程设计。
摘要 网易云音乐作为国内主流的在线音乐提供平台之一，拥有大量的入驻
歌手、音乐资源与活跃用户，既为用户提供丰富多样的音乐资源，又发展出了极
具特色的评论区，产生了大量的社交数据，深受青年用户的喜爱，并获得了“云
村故事会”、“网抑云”等特色标签。基于网易云音乐的海量音乐数据与社交数据，
使用大数据分析与挖掘技术，可得到以往的音乐流行趋势、歌手流行趋势、用户
喜好等多个维度的信息，并在此基础上预测未来的发展情况。本案例以构建网易
云音乐大数据系统为主题，使用爬取网易云音乐官方网站的数据构建数据集，结
合数据挖掘、机器学习等相关方法进行评论情感分析以及对用户进行歌曲、歌手
个性化推荐。本案例核心内容有：（1）使用 Hadoop 和 Spark 搭建服务平台；
（2）使用网络爬虫进行网易云音乐官方网站的数据爬取和存储；（3）使用
SVM、贝叶斯模型、LSTM 以及 BERT 等模型进行评论情感分析；（4）基于图
结构数据对用户进行歌曲、歌手推荐。
关键词：音乐大数据分析、网络爬虫、Hadoop 、Spark、图数据库、机器学
习、深度学习
剩余26页未读，继续阅读
评论0