大数据学习总结文档.doc

一、 简介

二、分布式文件存储系统 

 是什么

 的优缺点（）

 优点

 缺点

 架构图（）（）

 的功能模块及原理详解（）

 读写流程

 文件权限和安全模式

三、完全分布式搭建（）（）

 完全分布式搭建

 环境准备

 完全分布式搭建

 命令即  !"#$

四、高可用 # 与 %

 产生背景

"&

% 介绍

"& 集群搭建（）

五、()*（）

()* 是什么

()* 的设计理念

 分布式计算

 移动计算，而不是移动数据

()* 计算框架的的组成

!*+

() 架构

()* 的安装配置

 案例（未完）

六、$, 

$, 及数据仓库简介

$, 架构原理

$, 搭建及三种模式

$, 的安装配置

 三种模式

$, 区分与自动以函数 2、2#、23

$, 的分区 $$

 函数自定义

$, 索引（知道）

 案例

 基站掉话率

4*

 分桶表 

开启支持分桶

往分桶表中加载数据

分桶表 抽样查询

 运行方式 

$, 的 728 接口

 权限管理 

!"9#:8

/!"预分区解决海量导入数据时的热点问题

 高表和宽表

! 优化（未完成）

 表的设计

 写表操作

 读表操作

八、  

  简介、特点

  消息队列常用场景

  架构

  安装配置及使用

"#$

 ;<!($

 彻底删除   信息数据

彻底删除 =  中的 $

九、*

>* 简介

>* 组织架构（&）

 代码流程

3! $ 转换算子

#$ 行动算子

 任务执行原理

 缓存策略

 集群环境搭建及测试

总结

 补充部分算子

@$A ;*0$A$B;*0$A *;*0$

*$

:$$

:$$：与  类似，遍历的单位是每个 $$ 上的数据，返回

一个 )

$!$CD*/=DE

:$$ 遍历的数据是每个 $$ 的数据。

 广播变量和累加器

 术语解释 

 血统 $B

 宽依赖和窄依赖

粗粒度资源申请和细粒度资源申请

*+

"*+ 概念

"!*+

E"普通机制 