# Alluxio-Internal
经过近期对alluxio的研究,本着自身学习记录,同时因为当前对alluxio似乎还没有比较全面、深入的分析。这边系统的对alluxio进行源码分析,同时给出在工作过程中遇到的坑,和解决的坑。alluxio使用的源码是1.4.0。
##简单介绍
alluxio和hdfs有些类似、都是分布式的文件系统,hdfs基于磁盘介质存储、alluxio基于内存介质存储;hdfs基于replica方式进行容错、alluixo基于lineage的方式进行容错(目前容错性处于test阶段,并不完善,建议重要数据还是需要持久化到底层的文件系统);alluxio和hdfs都有类似的文件操作api、类似的shell命令(目前alluixo并没分admin和非admin命令);alluxio和hdfs都是基于文件块的形式存储数据,都是典型的master slave集群架构,都有master ha等。同时它们也有很多细节的区别:alluixo RPC使用thrift,hdfs使用的是protobuf;alluxio更多的用来加速上层计算框架,hdfs则更多的用来持久化存储;alluxio对上层的计算框架的locality不如hdfs等。
##主要内容
对alluixo进行比较全面的分析,将从以下几个方面着手。
1. [Build And Deploy](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/1-Build-And-Deploy.md) 编译部署alluxio
2. [How to use alluxio](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/2-HowToUseAlluxio.md) alluxio的使用
3. [Alluxio RPC](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/3-AlluxioRPC.md) alluxio RPC底层thrift介绍
4. [Allxuio Block](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/4-AlluxioBlockWrite.md) alluxio block存储与管理
5. [Alluxio Client](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/1-Build-And-Deploy.md) alluxio Client源码分析
6. [Alluxio Master](https://github.com/gjhkael/Alluxio-Internal/blob/master/Build-And-Deploy.md) alluxio Master源码分析(未写)
7. [Alluxio Worker](https://github.com/gjhkael/Alluxio-Internal/blob/master/Build-And-Deploy.md) alluxio Worker源码分析(未写)
8. [Alluxio security](https://github.com/gjhkael/Alluxio-Internal/blob/master/Build-And-Deploy.md) alluxio 认证授权源码分析 (未写)
9. [Alluxio bug and fix bug](https://github.com/gjhkael/Alluxio-Internal/blob/master/markdown/9-AllxuioBugAndFixBug.md) 挖坑、填坑
10. [Alluxio + kerberos](https://github.com/gjhkael/Alluxio-Internal/blob/master/Build-And-Deploy.md)(未写)
没有合适的资源?快使用搜索试试~ 我知道了~
Alluxio-Internal:Alluxio原始码分析,学习
共7个文件
md:6个
png:1个
7 下载量 89 浏览量
2021-03-23
22:45:08
上传
评论
收藏 69KB ZIP 举报
温馨提示
内部Alluxio 经过最近对alluxio的研究,本着自身学习记录,同时因为当前对alluxio似乎还没有比较全面,深入的分析。和解决的坑。alluxio使用的源码是1.4.0。 ##简单介绍 alluxio和hdfs一些类似,都是分布式的文件系统,hdfs基于磁盘介质存储,alluxio基于内存介质存储; hdfs基于副本的方式进行容错,alluixo基于lineage的方式进行容错(目前容错性处于测试阶段,而不是完善,建议重要数据还是需要持久化到重叠的文件系统); alluxio和hdfs都有类似的文件操作api,类似的shell命令(当前alluixo并没分admin和非admin命令); alluxio和hdfs都是基于文件块的形式存储数据,都是典型的主从属架构,都有主ha等。同时它们也有很多细节的区别:alluixo RPC使用Thrift,hdfs使用的是protobuf;
资源推荐
资源详情
资源评论
收起资源包目录
Alluxio-Internal-master.zip (7个子文件)
Alluxio-Internal-master
markdown
3-AlluxioRPC.md 22KB
4-AlluxioBlockWrite.md 21KB
1-Build-And-Deploy.md 7KB
2-HowToUseAlluxio.md 12KB
9-AllxuioBugAndFixBug.md 1KB
Graphs
thrift-architecture.png 46KB
README.md 2KB
共 7 条
- 1
资源评论
真好玩主人
- 粉丝: 17
- 资源: 4632
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功