没有合适的资源?快使用搜索试试~ 我知道了~
案例正文_英雄联盟大数据分析1
需积分: 0 5 下载量 177 浏览量
2022-08-08
20:17:55
上传
评论 2
收藏 3.25MB DOCX 举报
温馨提示
试读
23页
摘要近些年来游戏产业发展十分迅速,传统的电子竞技市场也正被新兴的IT技术所推动。从调查数据来看,如今的游戏玩家数量相比于几年前的传统电竞时代已增长数倍。与此同时
资源推荐
资源详情
资源评论
英雄联盟大数据分析平台的构建
作者:付晨阳,黄为希,李嘉豪,周懿,杨磊,冯永
单位:重庆大学,计算机学院
案例版权:该案例归重庆大学计算机学院所有
涉及的知识点:分布式爬虫、Hadoop 、Spark、数据可视化、逻辑回归、支
持向量机、朴素贝叶斯、决策树
案例来源及案例真实性情况:该案例来源于重庆大学计算机学院专业硕士
(电子信息)课程《大数据架构与技术》中的学生精选汇编课程设计。
摘要 近些年来游戏产业发展十分迅速,传统的电子竞技市场也正被新兴的
IT 技术所推动。从调查数据来看,如今的游戏玩家数量相比于几年前的传统电
竞时代已增长数倍。与此同时,随着云计算、大数据等技术在生活中的不断渗透,
游戏产业也逐渐成为这些新兴技术的“沃土”。本案例以当下热门游戏“英雄联
盟”为蓝本,构建英雄联盟大数据分析平台。使用爬取于英雄联盟比赛网站上的
竞赛数据构建数据集,结合数据挖掘、机器学习等相关方法进行数据可视化分析
进一步实现游戏胜负预测及阵容推荐等功能。本案例核心内容有:(1)使用
Hadoop 和 Spark 搭建服务平台;(2)使用网络爬虫获取游戏比赛数据进行存储
和分析;(3)进行数据可视化分析以及使用机器学习算法如逻辑回归、支持向量
机、朴素贝叶斯和决策树等方法实现游戏胜负预测与阵容推荐功能。
关键词:分布式爬虫、Hadoop 、Spark、数据可视化、可视化分析、游戏胜
负预测
1 引言
该教学案例来源于重庆大学计算机学院专业硕士(电子信息)课程《大数据
架构与技术》中的学生精选汇编课程设计。该案例以当下热门游戏“英雄联盟”
为蓝本,构建英雄联盟大数据分析平台,需引导学生进行的主要内容有:(1)掌
握并使用 Hadoop 和 Spark 搭建服务平台;(2)掌握并使用网络爬虫获取游戏比
赛数据并进行存储和分析;(3)掌握数据可视化分析方法以及利用机器学习算法
如逻辑回归、支持向量机、朴素贝叶斯和决策树等方法实现游戏胜负预测与阵容
推荐功能。
2 背景介绍
近些年来游戏产业发展十分迅速,传统的电子竞技市场也正被新兴的 IT 技
术所推动。从调查数据来看,如今的游戏玩家数量相比于几年前的传统电竞时代
已增长数倍。随着当前游戏团队合作化模式的不断加深,使得很多游戏元素都出
现了竞技化趋势,并且竞技强度和节奏都在逐步提高。一方面,游戏数据分析可
以提升游戏竞技人员的技术。另一方面,有利于游戏公司进行游戏平衡性的改进。
在挖掘出不平衡的角色之后,可以对单一数值的不同修改幅度进行情景分析。模
拟不同情景下该修改对角色平衡性的影响,以此确定最佳的修改范围,作为角色
技能修改的参考依据。
随着云计算、大数据等技术在生活中的不断渗透,游戏产业也逐渐成为这些
新兴技术的“沃土”。因此对专业硕士进行游戏产业大数据分析的指导是有必要
的。在本案例中,我们以构建英雄联盟大数据分析平台为主题,借助大数据分析
与处理、数据挖掘、机器学习的相关方法,以满足培养具备创新能力与实践能力
的人才的需求。
3 内容
该案例的主要内容主要分为三个小节,分别为服务平台的搭建、游戏数据爬
取与存储以及数据可视化分析、游戏胜负预测与阵容推荐。
3.1 服务平台的搭建
3.1.1 软件版本
软件
版本号
jdk
1.8
scala
2.11.8
hadoop
2.7.7
spark
2.4.6
3.1.2 节点
以三节点为例,其中一台 master 节点,两台 slave 节点
节点
ip
master
11.24.24.111
slave1
11.24.24.112
slave2
11.24.24.113
3.1.3 修改主机名和 hosts
更改主机名
sudo vim /etc/hostname
主节点改为 master //其他两个分别改为 slave1 和 slave2
修改 hosts
sudo vim /etc/hosts
修改 hosts 需要将注释的所有 127.0.0.1 以及 locahost 取消注释!!!!不然
子节点无法启动
将原文件(127.0.0.0 localhost)下面添加以下信息:
11.24.24.111 master
11.24.24.112 slave1
11.24.24.113 slave2
保存退出后重启三台服务器
sudo reboot
3.1.4 安装基础环境(Java 和 Scala)
对所有节点安装 java 和 scala
Java 环境搭建
下载 jdk-1.8 并解压到 /usr/local
sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
添加 java 环境变量
sudo vim /etc/profile
在/etc/profile 中添加:
export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
保存后刷新配置
source /etc/profile
使用 java -version 命令确认
java -version
Scala 环境搭建
1、下载 scala 安装包 scala2.13.2.tgz 安装到 /usr/local/
sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
2、重命名 scala
mv scala2.13.2 scala
3、添加 Scala 环境变量
sudo vim /etc/profile
4、在/etc/profile 中添加:
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH
5、保存后刷新
source /etc/profile
6、使用 scala -version 命令确认
scala -version
3.1.5 ssh 无密码验证配置
1、对所有节点安装 ssh
sudo yum install ssh
2、配置 master 无密码登录所有 slave
以下是在 master 节点上执行以下命令:
3、在 master 节点上生成密码对
ssh-keygen -t rsa -P ''
Enter 继续
生成的密钥对:id_rsa 和 id_rsa.pub 存储在” ~/.ssh”目录下(注意可能会不同)
把 id_rsa.pub 追加到授权的 key 里面去
剩余22页未读,继续阅读
资源评论
两斤香菜
- 粉丝: 14
- 资源: 297
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功