2013年Intel南京大学大数据技术培训小结
4星 · 超过85%的资源 需积分: 9 180 浏览量
2013-09-16
08:34:11
上传
评论
收藏 27KB DOC 举报 
2013 年 Intel 南京大学大数据技术培训小结
(唐仕喜 2013 年 9 月 15 日)
一、Hadoop 存在的问题及进展
1、Hadoop NameNode 存在单点问题
Hadoop 2.0 解决了此问题，将 NameNode 并入 DataNode
2、对流数据的处理
目前没有出现开源部分，华为宣称做了部分工作 建议使用 Storm
3、处理分析结果可视化问题
Hive 解决了分布式数据仓库部分问题
R 语言开始支持 Hadoop
4、对标准 SQL 支持问题 分布式 SQL
Hbase 并没有完全解决此问题，正在进行中。
5、算法自动并行化问题
目前只有一个 MapReduce 框架，没有自动并行化机制
二、Intel Hadoop 特点 商业化 集成化 性能优化
1. 经过客户验证的企业级 Hadoop 版本，稳定可靠
2. 图形化安装、管理、监控工具，自动进行集群配置优化
3. 改进的 HDFS 文件 I/O 算法，提高系统扩展性，适合不同配置服务器组成的集群
4. 根据 HDFS 数据的热点程度动态调整数据复制策略，提高 HDFS 系统吞吐量
5. HDFS 和 MapReduce 的高可靠性增强
6. 跨区域数据中心的 HBase 超级大表，位置透明的数据访问和全局汇总
7. HBase 大表跨数据中心远程双向复制，适合异地灾备
8. HBase 高级 Region 负载均衡算法，适合多应用、多用户
9. 基于 HBase 的更高性能的分布式聚合和统计
10. HBase 的不同表或不同列族的复制份数精细控制
三、南京大学研究进展与方向 黄宜华
1. 面向大数据的媒体内容分析与关联语义挖掘研究 Research on Big Media Data Content
Analysis and Associated Semantic Mining
国家自然科学基金专项基金项目（项目号 61223003） China National Science Foundation
Special Research Grant(#61223003)
资助额：300 万，2013.1-2016.12，项目主要参与者 Funding Amount: RMB 3 Million Yuan,
1/2013-12/2016, Co-PI
2. 面向复杂结构的精确 Web 信息抽取集成模型与关键技术研究 Research on Model and
Techniques for Accurate Web Info Extraction & Integration
国家自然科学基金面上项目（项目号 61072152） China National Science Foundation
Research Grant(#61072152) 资助额：32 万，2011.1-2013.12，项目负责人
Funding Amount: RMB 300,000 Yuan, 1/2011-12/2013, PI
资源评论
zhouhuiqinqin2014-07-01也还好吧 内容不是太丰富的
handsome‘sboy2015-06-15一般吧，太简单了- bbbear9932014-08-11内容一般吧，有点太简单了
