方案大数据存储解决方案.docx
版权申诉
155 浏览量
2022-10-26
01:59:30
上传
评论
收藏 32KB DOCX 举报
文档来源为:从网络收集整理.word 版本可编辑.欢迎下载支持.
【关键字】方案
大数据存储解决方案
篇一：大数据分析解决方案
大数据分析的三个技巧
.cn/cio/ XX 年 01 月 08 日 09：03 来源：CIO 时代网
【文章摘要】大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决
定的，数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据
时，大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责
任。数据分析的职位是由 DJ Patil 和 Jeff Hammerbacher 制定的，他们试图称呼数据组的同事
们，而又不想因为称呼而限制他们的能力。（because of improper job title like business analyst
or research scientist Building Data Science Teams）
随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。
然而，一些领导者对数据分析扮演的角色和它所起的作用仍然不是很了解，就像很多时候领
导者不知道怎么从大数据中抽取有用的信息，虽然很清楚的知道这些大数据是很可信的。他
们的脚步落后了——他们的眼光在大数据的利用上其实是模糊的。
大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决定的，数据分
析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时，大数据必
须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。
多种知识的掌握
为了解决数据量大的问题，大数据平台（例如：Apache Hadoop、LexisNexis HPPC）要
求数据是被整理过的。数据分析员应该具有大数据平台应用的全方位知识，这样才能熟练的
应用数据平台处理大数据。数据分析元应当具有以下知识：
1、了解大数据平台的框架，例如：DFS 和 MapReduce，他们的编程框架提供强大的
应用程序设计。这就意味着数据分析员还要有软件构筑和设计的能力。
2、精通大数据平台支持的编程语言，例如：Java, Python, C++, or ECL, 等等。
3、具有熟练的数据库知识，特别是用到SQL 语言的数据库，像：HBase, CouchDB, 等
等。因为大数据平台经常需要数据库来保存和转换数据。
4、具有数学/统计学、机器学习、数据挖掘领域的专业知识。
一个企业的成功不是由数据量决定的，而是由能否成功的从大数据中发现和抽取有用
的知识模式和关系决定的，然后用这些有价值的信息创造出有价值的产品。统计学、机器学
习和数据挖掘可以很好的用于理解数据和发掘数据的价值。自然，为了成功数据分析者必须
具备这些领域的专门知识。会使用一些数据挖掘工具或者平台（例如：R, Excel, SPSS and SAS）
是最好的，可以《Top Analytics and big data software tools》这本书。
5、熟练应用自然语言处理的软件或工具。大数据的内容大都来自于文本文件、新闻、
社交媒体和报告、建议书等等。因此了解和掌握至少一种自然语言处理软件或工具对于做一
个成功的分析者起着决定性的作用。
评论0
最新资源