没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
7页
在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展。对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于 X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。文章主要以用户 WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为。
资源推荐
资源详情
资源评论
DOI:10.3969/j.issn.1006-6403.2015.01.004
基于 Spark 的用户上网 WAP 日志分析
[龚静]
摘要
在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发
展。对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,
对其进行分析和挖掘,能更好的了解客户需求。传统经营分析系统小型机加关系
型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于
X86 的 Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩
展的经营分析系统混搭架构成为电信运营商最为倾向的选择。文章主要以用户
WAP 日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而
挖掘和分析用户上网行为。
关键词: 大数据 分布式 Hadoop Spark
龚静
中国移动通信集团南方基地 IT 工程师,主要研究方向为业务支撑系统中的大
数据应用。
1 引言
1.1 移动互联网时代引入上网日志分析
随着 4G 时代的来临、智能终端的普及、移动互联业
务的快速发展,用户手机上网行为越来越活跃,流量收入
在运营商的收入中的占比逐年增多。依靠传统 CDR 话单分
析已无法全面把握用户需求,从海量的日志数据中挖掘用户
需求来迎合市场的发展,成为运营商需要迫切解决的问
题。
WAP
[1]
日志中蕴含着大量的用户上网行为信息,包含
了用户爱好、需求,可以更好的理解业务价值、客户价
值,促进精细化营销,制定相应策略与控制。从而降低流
量成本和提升流量收入,促进流量业务发展。
1.2 引入大数据技术处理非结构化数据
WAP 日志作为新型数据源引入经营分析系统,使其
越来越具备大数据平台的特征,主要包括如下:
(1) 数据规模方面:WAP 日志的条数和数据量已经
超过了语音详单,且还处在不断增长的趋势。
(2) 数据类型方面:从结构化数据,过渡到结构化数据和
互联网网页、上网日志等非结构化数据和半结构化数据共存。
(3) 对数据的使用方面:不仅有批量的数据加工和前台
界面的访问,临时统计、数据挖掘等访问需求也逐步增多。
对历史明细数据的访问增多。对数据访问的及时性增强。
传统数据仓库基础架构
[2]
难以满足海量、多样化数据
以及高速响应的需求。传统 IT 系统采用 Scale-up 设计路
线,扩展性较弱,难以处理海量数据;小型机 Unix 系统
16
通
信
热
点
资源评论
impao
- 粉丝: 0
- 资源: 9
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功