没有合适的资源?快使用搜索试试~ 我知道了~
基于大数据分析乐器全员营销系统开发论文.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 144 浏览量
2023-09-08
14:09:11
上传
评论
收藏 3.51MB DOC 举报
温馨提示
试读
32页
基于大数据分析乐器全员营销系统开发论文.doc
资源推荐
资源详情
资源评论
第 1 页 共 32 页
摘 要
当今时代互联网发展非常迅猛,大数据也处于快速发展状态,各
行各业或多或少都与大数据息息相关。随着互联网的发展和进步,也
产生了巨量的交互数据信息。怎么在这海量的数据中搜索和提取出自
己需要的信息变得非常重要。
本文主要是运用到业界最好的大数据分析框架 Spark,对乐器营
销网站的日志进行实时和离线分析。为实现乐器全员营销搭建好基层
建设,以在未来为更加先进的数据挖掘与数据分析提供健康的数据来
源,从而获取更大的商机。
本 文 使 用 了 业 界 内 非 常 成 熟 的 Spark 框 架 , 具 体 是 Spark
Streaming、Spark SQL、Spark Core。运用这些非常流行而且强大的
Spark 框架进行离线数据的统计计算和实时数据的统计计算。本项目
实现了四大模块,如用户访问 Session 离线分析、网页单跳转化率离
线统计、热点商品离线统计、广告流量实时统计。
关键词:乐器电商日志信息, Spark, 离线统计,实时统计
第 2 页 共 32 页
Abstract
Nowadays, with the rapid development of Internet and big data, all
walks of life are more or less closely related to big data. With the
development and progress of the Internet, a huge amount of interactive
data information has been generated. How to search and extract the
needed information from the massive data becomes very important.
This paper mainly uses spark, the best big data analysis framework
in the industry, to analyze the logs of musical instrument marketing
websites in real time and offline. In order to achieve the goal of building a
good basic level of musical instrument marketing, in order to provide
more advanced data mining and data analysis with healthy data sources in
the future, so as to obtain greater business opportunities.
This article uses a very mature spark framework in the industry,
specifically spark streaming, spark SQL and spark core. These popular
and powerful spark frameworks are used for offline data statistics and
real-time data statistics. This project implements four modules, such as
offline analysis of user visit session, offline statistics of single hop
conversion rate of web page, offline statistics of hot goods, and real-time
statistics of advertising traffic.
Keywords: Musical instrument e-commerce log information, Spark,
第 3 页 共 32 页
statistics, real-time statistics
第 4 页 共 32 页
目录
摘 要...........................................................................1
Abstract .............................................................................................................................................2
第一章 绪论.....................................................................................................................................5
1.1 课题背景...........................................................................................................................5
1.2 目的和意义 .....................................................................................................................6
1.3 论文结构安排................................................................................................................6
第二章 项目框架..........................................................................................................................8
2.1 项目整体框架................................................................................................................8
2.2 离线日志采集宏观流程........................................................................................9
2.3 实时日志采集宏观流程........................................................................................9
2.4 离线/实时日志采集框架.....................................................................................9
第三章 数据分析........................................................................................................................10
3.1 离线数据分析 ............................................................................................................10
3.2 在线数据分析 ............................................................................................................12
第四章 项目需求........................................................................................................................13
4.1 项目需求概述..............................................................................................................13
4.2 用户访问 Session 统计...................................................................................13
4.3 网页单跳转化率统计 ...........................................................................................14
4.4 区域热点商品统计.................................................................................................14
4.5 广告流量实时统计.................................................................................................15
第五章 项目详细解析 ............................................................................................................16
5.1 项目程序框架解析...................................................................................................16
5.1.2 commons 模块................................................................................................16
5.1.3 mock 模块 ........................................................................................................16
5.1.3 统计分析模块................................................................................................18
第 5 页 共 32 页
5.2 项目需求解析 ............................................................................................................18
5.2.1 用户访问 Session 统计模块..........................................................18
5.2.2 网页单跳转化率统计模块....................................................................24
5.2.3 区域热点商品统计模块..........................................................................26
5.2.4 广告流量实时统计模块........................................................................28
第六章 系统测试........................................................................................................................32
6.1 大数据测试的重要性 ...........................................................................................32
6.2 大数据测试步骤.......................................................................................................33
6.3 大数据测试分析.......................................................................................................33
结论.......................................................................................................................................................36
参考文献 ...........................................................................................................................................36
致 谢....................................................................................................................................................37
第一章 绪论
1.1 课题背景
近些年来,很多传统企业为了企业的发展运用到电子商务,线上开展营销策
略,线上交易也非常频繁,而且产生的数据多样化和海量化,这些都是线下交易
无法做到的,所以企业为了处理这些庞大的数据,因而也特别需要大数据技术这
种的支持。
近些年来,大数据这个词越来越火,逐渐引起每个人的关注。在 2005 年的
时候,谷歌参加了美国官方举办的一个机器翻译大赛。谷歌当时使用了海量的相
关数据,通过对海量数据的计算来进行翻译,最终夺得第一。在那之后大数据第
剩余31页未读,继续阅读
资源评论
南抖北快东卫
- 粉丝: 69
- 资源: 5584
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功