没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全分布式集群架构中场景化解决方案课程笔记1

分布式集群架构中场景化解决方案课程笔记1

java

分布式

需积分: 0 0 下载量 29 浏览量 2022-08-04 00:44:32 上传评论收藏 2.97MB PDF 举报

温馨提示

试读

39页

分布式集群架构中场景化解决方案课程笔记1

资源详情

资源评论

资源推荐

分布式集群架构场景化解决⽅案课程笔记（讲

师：应癫）

主要课程内容

第⼀部分：⼀致性Hash算法

第⼆部分：集群时钟同步问题

第三部分：分布式ID解决⽅案

数据表A（ID），A的数据量很⼤的情况下，我们会进⾏分表操作，A（ID）表拆分成了A1表

（ID）+A2表(ID)，需要⼀种在分布式集群架构中能够产⽣全局唯⼀ID的⽅案

第四部分：分布式调度问题（定时任务的分布式）

第五部分：Session共享（⼀致性）问题

浏览器—>Nginx—>Tomcat1（Session中记录⽤户信息）

—>Tomcat2

—>Tomcat3

分布式和集群

分布式和集群是不⼀样的，分布式⼀定是集群，但是集群不⼀定是分布式（因为集群就是多个实例⼀起

⼯作，分布式将⼀个系统拆分之后那就是多个实例；集群并不⼀定是分布式，因为复制型的集群不是拆

分⽽是复制）

第⼀部分⼀致性Hash算法

Hash算法，⽐如说在安全加密领域MD5、SHA等加密算法，在数据存储和查找⽅⾯有Hash表等, 以上

都应⽤到了Hash算法。

为什么需要使⽤Hash?

Hash算法较多的应⽤在数据存储和查找领域，最经典的就是Hash表，它的查询效率⾮常之⾼，其中的

哈希算法如果设计的⽐较ok的话，那么Hash表的数据查询时间复杂度可以接近于O(1)，示例

需求：提供⼀组数据 1,5,7,6,3,4,8，对这组数据进⾏存储，然后随便给定⼀个数n，请你判断n是否存在

于刚才的数据集中？

list:List[1,5,7,6,3,4,8]

// 通过循环判断来实现

for(int element: list) {

if(element == n) {

如果相等，说明n存在于数据集中

}

以上这种⽅法叫做顺序查找法：这种⽅式我们是通过循环来完成，⽐较原始，效率也不⾼

⼆分查找：排序之后折半查找，相对于顺序查找法会提⾼⼀些效率，但是效率也并不是特别好

我能否不循环！不⼆分！⽽是通过⼀次查询就把数据n从数据集中查询出来？？？可以！

定义⼀个数组，数组⻓度⼤于等于数据集⻓度，此处⻓度为9，数据1就存储在下标为1的位置，3就存储

在下标为3的元素位置，，，依次类推。

这个时候，我想看下5存在与否，只需要判断list.get(5) array[5] 是否为空，如果为空，代表5不存在于

数据集，如果不为空代表5在数据集当中，通过⼀次查找就达到了⽬的，时间复杂度为O(1)。

这种⽅式叫做“直接寻址法”：直接把数据和数组的下标绑定到⼀起，查找的时候，直接array[n]就取出

了数据

优点：速度快，⼀次查找得到结果

缺点：

1）浪费空间，⽐如 1,5,7,6,3,4,8,12306 ，最⼤值12306 ，按照上述⽅式需要定义⼀个⽐如⻓度为

12307的数组，但是只存储零星的⼏个数据，其他位置空间都浪费着

2）数据如：1,5,7,6,3,4,8,1,2,1,2,1,2,1,2,1,2,1,2,1,2,1,2,1,2,1,2,1,2最⼤值12，⽐如开辟13个空间，存储

不了这么多内容

现在，换⼀种设计，如果数据是3，5，7，12306，⼀共4个数据，我们开辟任意个空间，⽐如5个，那

么具体数据存储到哪个位置呢，我们可以对数据进⾏求模（对空间位置数5），根据求模余数确定存储

位置的下标，⽐如3%5=3，就可以把3这个数据放到下标为3的位置上，12306%5=1，就把12306这个

数据存储到下标为1的位置上

上⾯对数据求模（数据%空间位置数）他就是⼀个hash算法，只不过这是⼀种⽐较普通⼜简单的hash

算法，这种构造Hash算法的⽅式叫做除留余数法

如果数据是1，6，7，8，把这4个数据存储到上⾯的数组中

在此基础上采⽤开放寻址法（了解）

开放寻址法：1放进去了，6再来的时候，向前或者向后找空闲位置存放，不好的地⽅，如果数组⻓度定

义好了⽐如10，⻓度不能扩展，来了11个数据，不管Hash冲突不冲突，肯定存不下这么多数据

拉链法：数据⻓度定义好了，怎么存储更多内容呢，算好Hash值，在数组元素存储位置放了⼀个链表

如果Hash算法设计的⽐较好的话，那么查询效率会更接近于O(1)，如果Hash算法设计的⽐较low，那么

查询效率就会很低了

所以，Hash表的查询效率⾼不⾼取决于Hash算法，hash算法能够让数据平均分布，既能够节省空间⼜

能提⾼查询效率。Hash算法的研究是很深的⼀⻔学问，⽐较复杂，⻓久以来，Hash表内部的Hash算法

也⼀直在更新，很多数学家也在研究。

除留余数法 3%5

线性构造Hash算法

直接寻址法也是⼀种构造Hash的⽅式，只不过更简单，表达式：H(key)=key

⽐如H(key)=a*key + b(a,b是常量)

hashcode其实也是通过⼀个Hash算法得来的

第 1 节 Hash算法应⽤场景

Hash算法在分布式集群架构中的应⽤场景

Hash算法在很多分布式集群产品中都有应⽤，⽐如分布式集群架构Redis、Hadoop、ElasticSearch，

Mysql分库分表，Nginx负载均衡等

主要的应⽤场景归纳起来两个

请求的负载均衡（⽐如nginx的ip_hash策略）

Nginx的IP_hash策略可以在客户端ip不变的情况下，将其发出的请求始终路由到同⼀个⽬标服务

器上，实现会话粘滞，避免处理session共享问题

如果没有IP_hash策略，那么如何实现会话粘滞？

可以维护⼀张映射表，存储客户端IP或者sessionid与具体⽬标服务器的映射关系

<ip,tomcat1>

缺点

1）那么，在客户端很多的情况下，映射表⾮常⼤，浪费内存空间

2）客户端上下线，⽬标服务器上下线，都会导致重新维护映射表，映射表维护成本很⼤

如果使⽤哈希算法，事情就简单很多，我们可以对ip地址或者sessionid进⾏计算哈希值，哈希值与服务

器数量进⾏取模运算，得到的值就是当前请求应该被路由到的服务器编号，如此，同⼀个客户端ip发送

过来的请求就可以路由到同⼀个⽬标服务器，实现会话粘滞。

分布式存储

以分布式内存数据库Redis为例,集群中有redis1，redis2，redis3 三台Redis服务器

那么,在进⾏数据存储时,<key1,value1>数据存储到哪个服务器当中呢？针对key进⾏hash处理

hash(key1)%3=index, 使⽤余数index锁定存储的具体服务器节点

第 2 节普通Hash算法存在的问题

普通Hash算法存在⼀个问题，以ip_hash为例，假定下载⽤户ip固定没有发⽣改变，现在tomcat3出现

了问题，down机了，服务器数量由3个变为了2个，之前所有的求模都需要重新计算。

剩余38页未读，继续阅读

内容反馈

yiyi分析亲密关系

粉丝: 22
资源: 321

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

分布式集群架构中场景化解决方案课程笔记1

评论0

最新资源

分布式集群架构中场景化解决方案课程笔记1

评论0

基于分布式集群架构下的SSM电商购物平台设计.pdf

mysql分布式集群架构视频

Dubbo分布式系统架构实战视频教程

大型分布式网站架构设计与实践.带目录书签.完整版 陈康贤

人人都是架构师+分布式系统架构落地与瓶颈突破+高清完整版

dubbo视频教程|基于Dubbo的分布式系统架构实战

20年IT老民工苦心编撰成超大流量分布式系统架构解决方案文档.docx

微服务架构的分布式事务解决方案,完整31讲

分布式集群存储解决方案介绍.ppt

hadoop完全分布式集群搭建笔记

大型分布式网站架构设计与实践

分布式架构

12张图带你彻底理解分布式事务产生的场景和解决方案.docx

spark 分布式集群搭建

activemq分布式集群视频教程

大型分布式网站架构设计与实践.带目录书签.完整版.pdf

服务架构的分布式事务解决方案

STM32CubeMX安装包(版本:6.9.0) 附带 Java安装包(版本:371) - -2023年7月14日

基于spring boot的小区物业管理系统源码+论文+答辩ppt

最新Java JDK 8安装版（Windows 64位）

毕业设计 基于javaweb的在线答题平台

自主研发的软著申请代码文档整理输出工具

毕业设计-基于JAVA的springboot超市进销存系统(源代码+论文）

Java 面经手册·小傅哥.pdf

BurpLoaderKeygen.jar.zip

java-11 windows-x64 安装包

Java面试八股文2023最新版

2024最强Java面试八股文

JDK1.8 windows 64位

最新资源

大型分布式网站架构设计与实践.带目录书签.完整版陈康贤

毕业设计基于javaweb的在线答题平台