没有合适的资源?快使用搜索试试~ 我知道了~
各大企业大数据面试题目总结
需积分: 0 3 下载量 23 浏览量
2023-03-01
09:38:16
上传
评论
收藏 352KB DOCX 举报
温馨提示
试读
32页
手写快排 如何利用zookeeper进行选举,画图说明 什么是脑裂 1.说一下你了解的分布式算法有哪些? 2.说一下你对HDFS源码的理解,读源码有哪些收获? 3.MapReduce的任务如何和HDFS结合起来? 4.介绍一下2PC的协议? 5.2PC在什么时候会发生阻塞? 6.HDFS写入数据时发生故障如何处理?(分三种情况,客户端down掉,DataNode down掉,namenode down掉) 7.ZAB写入如何避免阻塞的? 8.Paxos协议在实际系统中,节点时如何选取的?Paxos协议中所有的角色都需要相同的逻辑吗? 9.如果Paxos协议在HDFS中使用的话,如何使用?需要使用几台机器运行这个协议? 10.Paxos协议的主要目的是什么?在Hadoop中举一个例子? 11.HDFS中的三副本一致性如何设计? 12.HDFS写入数据的过程如何保证写入数据的一致性的? 13.一致性hash为什么加入节点后可以保证相对的balance的状态 14.哪些适用到了一致性hash 15.手写树相关的算法(层次遍历的变种) 16.JVM内存布局
资源推荐
资源详情
资源评论
百度运维部,基础平台研发工程师
(一面)
手写快排
/**
* description : 快速排序
* @autor kwzhang
* modify :2012-6-20
*
* @param pData
* @param left
* @param right
* @return
*/
static void quicksort(int n[], int left, int right) {
int dp;
if (left < right) {
dp = partition(n, left, right);
quicksort(n, left, dp - 1);
quicksort(n, dp + 1, right);
}
}
static int partition(int n[], int left, int right) {
int pivot = n[left];
while (left < right) {
while (left < right && n[right] >= pivot)
right--;
if (left < right)
n[left++] = n[right];
while (left < right && n[left] <= pivot)
left++;
if (left < right)
n[right--] = n[left];
}
n[left] = pivot;
return left;
}
如何利用 zookeeper 进行选举,画图说明
3.用 zookeeper 做任务分配如何实现
调度顺序 gateway-->api-->schedule-->agent-->gitlab-->job-server-
->job-cache-->agent-->log-server-->log-center
gitlab:用于脚本的版本管理,权限的控制
job-server: 保存任务,对任务打包等
gateway: 多个机房间的调度通过 gateway 执行任务的分配
log-center: 日志集中管理服务器
api: 任务调度的入口
schedule: 任务调度的主程序
agent: 客户端,执行具体的任务
log-server: 日志服务器
job-cache: 任务的缓存服务器,下载的任务保存在这里,agent 来这里下载
任务
zookeeper: 组织任务调度的结构
剩余31页未读,继续阅读
资源评论
bmyyyyyy
- 粉丝: 943
- 资源: 4
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功