Transform to the power of data 大数据基础培训教程 datainsight@sina.com November 2015 @数据视野 主要内容 大数据的起源与目标 大数据与Hadoop Hadoop的应用模式 什么是大数据? 起源与目标 大数据与Hadoop 应用模式 大数据的产生背景:RDBMS时代回头看 索引 查询 交易 起源与目标 大数据与Hadoop 应用模式 大数据的产生背景:技术博弈 交易 分析 起源与目标 大数据与Hadoop 应用模式 大数据的产生背景:原动力 性能 价格 收益 成本 VS 起源与目标 大数据与Hadoop 应用模式 大数据的核心理念 Xoom不跨境汇款异常交易报警 网管异常日志分析 随机样本 全体数据 Google Rosetta VS. IBM Candide:美国标准局(NIST)机器翻译系统评测(2007) 摘自:Viktor Mayer-Schonberger"大数据时代",吴军"数学之美" 精确性 混杂性 沃尔玛的飓风不蛋挞:Teradata,20丐纪90年代 因果关系 相关关系 起源与目标 大数据与Hadoop 应用模式 大数据能做什么? 数据分析与报表 预测 数据挖掘与BI 机器学习与Google大 脑 起源与目标 大数据与Hadoop 应用模式 大数据技术IT人员的挑战——DevOps DevOps Development和Operations的 组合,是一组过程、方法与 系统的统称,用于促进开发 (应用程序/软件工程)、技 术运营和质量保障(QA)部 门之间的沟通、协作与整合。 它的出现是由于软件行业日 益清晰地认识到:为了按时 交付软件产品和服务,开发 和运营工作必须紧密合作。 摘自:http://zh.wikipedia.org/wiki/DevOps 起源与目标 大数据与Hadoop 应用模式 大数据运动的目标 Find something where you provide a scarce, complementary service to something that is getting ubiquitous and cheap. So what's getting ubiquitous and cheap? Data. And what is complementary to data? Analysis. By Hal Varian, Google's chief economist 起源与目标 大数据与Hadoop 应用模式 推荐读物 主要内容 大数据的起源与目标 大数据与Hadoop Hadoop的应用模式 Google的"三驾马车":起源 HDFS MapReduce HBase 业 务 驱 动 起源与目标 大数据与Hadoop 应用模式 Hadoop的前世今生 Hadoop最早作为Nutch的一个模块被引入,Nutch又是Lucene的一个子 项目 Lucene是Apache下的一个全文索引引擎 Nutch是一个完整的搜索引擎,它以Lucene为核心 Hadoop的用途在于分析Nutch爬虫抓取的WEB页面并为其建立索引 2003年Google发表论文介绍GFS文件系统,2004年HDFS(NDFS)项目建立 2004年Google发表论文介绍MapReduce算法,2005年Nutch中实现了 MapReduce算法 2006年2月Hadoop独立成Lucene的一个子项目,与此同时,Hadoop创 始人Doug Cutting加入YAHOO 2007年11月纽约时报利用亚马逊EC2和Hadoop将4TB的报纸扫描件转化 成PDF 2008年1月Hadoop成为Apache顶级项目(Top-Level Project) 2008年2月YAHOO宣布其生产网利用Hadoop集群为搜索引擎建立索引, 集群规模超过1万个CPU核心 起源与目标 大数据与Hadoop 应用模式 大数据与Hadoop STORM 大数 据 大数据的应用范畴: 海量数据的快速查询 海量数据的归档不保存 数据汇总不报表 数据挖掘 预测 Hadoop与大数据: 1、Hadoop 大数据库 2、Hadoop是目前发展的最为成熟的大数据库技术 3、Hadoop是一种较为通用的大数据技术 4、后起之秀:STORM、SPARK 起源与目标 大数据与Hadoop 应用模式 Hadoop的社区版与发行版 【Hadoop社区版】 由Apache社区主导, 是所有Hadoop发行 版的源头。Hadoop 社区以投票的形式决 定Hadoop版本的发 展方向 100%开放源代码,兼 容社区版,Hadoop市 场占有率全球第一, 社区的主导力量 100%开放源代码,完 全兼
剩余40页未读,继续阅读
- 粉丝: 155
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助