1 判定哈希算法好坏的四个定义-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

判定哈希算法好坏的四个定义

算法与数据结构 来源:未知 作者:李倩 2018-07-27 11:36 次阅读

一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用。

一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义:

1、平衡性(Balance):平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去,这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。

2、单调性(Monotonicity):单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中,又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到原有的或者新的缓冲中去,而不会被映射到旧的缓冲集合中的其他缓冲区。

3、分散性(Spread):在分布式环境中,终端有可能看不到所有的缓冲,而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时,由于不同终端所见的缓冲范围有可能不同,从而导致哈希的结果不一致,最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的,因为它导致相同内容被存储到不同缓冲中去,降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生,也就是尽量降低分散性。

4、负载(Load):负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中,那么对于一个特定的缓冲区而言,也可能被不同的用户映射为不同 的内容。与分散性一样,这种情况也是应当避免的,因此好的哈希算法应能够尽量降低缓冲的负荷。

在分布式集群中,对机器的添加删除,或者机器故障后自动脱离集群这些操作是分布式集群管理最基本的功能。如果采用常用的hash(object)%N算法,那么在有机器添加或者删除后,很多原有的数据就无法找到了,这样严重的违反了单调性原则。接下来主要讲解一下一致性哈希算法是如何设计的:

环形Hash空间

按照常用的hash算法来将对应的key哈希到一个具有2^32次方个桶的空间中,即0~(2^32)-1的数字空间中。现在我们可以将这些数字头尾相连,想象成一个闭合的环形。如下图

把数据通过一定的hash算法处理后映射到环上

现在我们将object1、object2、object3、object4四个对象通过特定的Hash函数计算出对应的key值,然后散列到Hash环上。如下图:

Hash(object1) = key1;Hash(object2) = key2;Hash(object3) = key3;Hash(object4) = key4;

将机器通过hash算法映射到环上

在采用一致性哈希算法的分布式集群中将新的机器加入,其原理是通过使用与对象存储一样的Hash算法将机器也映射到环中(一般情况下对机器的hash计算是采用机器的IP或者机器唯一的别名作为输入值),然后以顺时针的方向计算,将所有对象存储到离自己最近的机器中。

假设现在有NODE1,NODE2,NODE3三台机器,通过Hash算法得到对应的KEY值,映射到环中,其示意图如下:

Hash(NODE1) = KEY1;Hash(NODE2) = KEY2;Hash(NODE3) = KEY3;

通过上图可以看出对象与机器处于同一哈希空间中,这样按顺时针转动object1存储到了NODE1中,object3存储到了NODE2中,object2、object4存储到了NODE3中。在这样的部署环境中,hash环是不会变更的,因此,通过算出对象的hash值就能快速的定位到对应的机器中,这样就能找到对象真正的存储位置了。

机器的删除与添加

普通hash求余算法最为不妥的地方就是在有机器的添加或者删除之后会照成大量的对象存储位置失效,这样就大大的不满足单调性了。下面来分析一下一致性哈希算法是如何处理的。

1.节点(机器)的删除

以上面的分布为例,如果NODE2出现故障被删除了,那么按照顺时针迁移的方法,object3将会被迁移到NODE3中,这样仅仅是object3的映射位置发生了变化,其它的对象没有任何的改动。如下图:

2.节点(机器)的添加

如果往集群中添加一个新的节点NODE4,通过对应的哈希算法得到KEY4,并映射到环中,如下图:

通过按顺时针迁移的规则,那么object2被迁移到了NODE4中,其它对象还保持这原有的存储位置。通过对节点的添加和删除的分析,一致性哈希算法在保持了单调性的同时,还是数据的迁移达到了最小,这样的算法对分布式集群来说是非常合适的,避免了大量数据迁移,减小了服务器的的压力。

平衡性

根据上面的图解分析,一致性哈希算法满足了单调性和负载均衡的特性以及一般hash算法的分散性,但这还并不能当做其被广泛应用的原由,因为还缺少了平衡性。下面将分析一致性哈希算法是如何满足平衡性的。hash算法是不保证平衡的,如上面只部署了NODE1和NODE3的情况(NODE2被删除的图),object1存储到了NODE1中,而object2、object3、object4都存储到了NODE3中,这样就照成了非常不平衡的状态。在一致性哈希算法中,为了尽可能的满足平衡性,其引入了虚拟节点。

——“虚拟节点”( virtual node )是实际节点(机器)在 hash 空间的复制品( replica ),一实际个节点(机器)对应了若干个“虚拟节点”,这个对应个数也成为“复制个数”,“虚拟节点”在 hash 空间中以hash值排列。

以上面只部署了NODE1和NODE3的情况(NODE2被删除的图)为例,之前的对象在机器上的分布很不均衡,现在我们以2个副本(复制个数)为例,这样整个hash环中就存在了4个虚拟节点,最后对象映射的关系图如下:

根据上图可知对象的映射关系:object1->NODE1-1,object2->NODE1-2,object3->NODE3-2,object4->NODE3-1。通过虚拟节点的引入,对象的分布就比较均衡了。那么在实际操作中,正真的对象查询是如何工作的呢?对象从hash到虚拟节点到实际节点的转换如下图:

“虚拟节点”的hash计算可以采用对应节点的IP地址加数字后缀的方式。例如假设NODE1的IP地址为192.168.1.100。引入“虚拟节点”前,计算 cache A 的 hash 值:

Hash(“192.168.1.100”);

引入“虚拟节点”后,计算“虚拟节”点NODE1-1和NODE1-2的hash值:

Hash(“192.168.1.100#1”); // NODE1-1Hash(“192.168.1.100#2”); // NODE1-2

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器
    +关注

    关注

    0

    文章

    780

    浏览量

    40710
  • Hash
    +关注

    关注

    0

    文章

    32

    浏览量

    13195
  • 哈希算法
    +关注

    关注

    1

    文章

    56

    浏览量

    10744

原文标题:5分钟理解一致性哈希算法

文章出处:【微信号:TheAlgorithm,微信公众号:算法与数据结构】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    有源晶振四个脚是如何定义的?

    有源晶振四个脚是如何定义的?有源晶振型号类型比较多,而且每一种型号的引脚定义都有所不同,接法也不是通用的。下面小扬介绍一下有源晶振常用引脚识别法,以方便大家:有点标记的为1脚,按逆时
    的头像 发表于 04-28 15:37 1526次阅读
    有源晶振<b class='flag-5'>四个</b>脚是如何<b class='flag-5'>定义</b>的?

    步进电机的四个端口是如何定义

    char#define uint unsigned int ***it d1=P1^0; //定义步进电机的四个端口***it d2=P1^1;***it...
    发表于 07-07 07:26

    基于双字哈希结构的匹配算法

    中文分词是计算机进行文本分析的关键技术。基于提高分词效率以满足日益增长的文本分析需求,通过分析常用的基于词典的机械分词算法与词典机制的优缺点,在对最大匹配算法进行改进的同时,采用双字哈希词典设计了
    发表于 11-03 17:16 6次下载
    基于双字<b class='flag-5'>哈希</b>结构的匹配<b class='flag-5'>算法</b>

    WSN关键点判定算法

    局域信息进行建模,接下来结合节点剩余能量和节点失效后网络能耗的变化,建立能量因素模型,最终得到一综合的关键点判定模型。利用Matlab仿真平台与其他算法进行对比仿真,结果表明该算法
    发表于 03-07 10:58 0次下载
    WSN关键点<b class='flag-5'>判定</b><b class='flag-5'>算法</b>

    哈希哈希算法的介绍

    聊到区块链的时候也少不了会听到“哈希”、“哈希函数”、“哈希算法”,是不是听得一头雾水?别急,这一讲我们来讲讲什么是哈希
    的头像 发表于 05-22 14:11 6574次阅读
    <b class='flag-5'>哈希</b>及<b class='flag-5'>哈希</b><b class='flag-5'>算法</b>的介绍

    如何判断LM324四个运放的好坏?,LM324运放好坏的简易测试工具概述

    要判断LM324四个运放的好坏,可按图将其四个运放连好,图中的两10K电阻R1和R2构成分压电路,Vcc假如为6V,为四个运放的反相输入端
    发表于 09-10 08:00 40次下载
    如何判断LM324<b class='flag-5'>四个</b>运放的<b class='flag-5'>好坏</b>?,LM324运放<b class='flag-5'>好坏</b>的简易测试工具概述

    哈希算法的基本含义与分类

    根据维基百科的定义哈希函数要做的事情是给一任意大小的数据生成出一固定长度的数据,作为它的映射。所谓映射就是一一对应。一可靠的
    发表于 12-26 11:20 4010次阅读
    <b class='flag-5'>哈希</b><b class='flag-5'>算法</b>的基本含义与分类

    什么是哈希算法用途是什么

    哈希算法又称散列算法,是指某种从任意长度的数据中创建数字“指纹”的算法。它可以将任意长度的数据映射为固定长度的数据,这个映射后的数据我们称之为哈希
    发表于 01-11 11:01 1.1w次阅读

    基于多因子判定与渗流模型相结合的裂缝检测算法资料概述

    ,提高渗流处理效率;然后,对提取到的渗流点进行渗流处理;最后,提出了一种结合裂缝走向的多因子判定连:接算法算法通过四个判定因子对裂缝连接的
    发表于 04-26 16:23 13次下载
    基于多因子<b class='flag-5'>判定</b>与渗流模型相结合的裂缝检测<b class='flag-5'>算法</b>资料概述

    使用多因子判定与渗流模型实现裂缝检测算法论文说明

    ,提高渗流处理效率;然后,对提取到的渗流点进行渗流处理;最后,提出了一种结合裂缝走向的多因子判定连接算法算法通过四个判定因子对裂缝连接的合
    发表于 12-04 15:46 1次下载
    使用多因子<b class='flag-5'>判定</b>与渗流模型实现裂缝检测<b class='flag-5'>算法</b>论文说明

    多因子判定与渗流模型相结合的裂缝检测算法的详细资料说明

    渗流处理效率;然后对提取到的渗流点进行渗流处理;最后提出了一种结合裂缝走向的多因子判定连接算法算法通过四个判定因子对裂缝连接的合理性进行分
    发表于 03-27 10:17 13次下载

    哈希算法是什么,哈希游戏系统开发方案

    哈希算法可理解为一种消息摘要算法,将消息或数据压缩变小并拥有固定格式。由于其单向运算具有一定的不可逆性,哈希算法已成为加密
    的头像 发表于 06-14 09:14 1104次阅读

    哈希是什么,常见的哈希算法有哪些

    可理解为一种消息摘要算法,将消息或数据压缩变小并拥有固定格式。由于其单向运算具有一定的不可逆性,哈希算法已成为加密算法中一构成部分,但完整
    的头像 发表于 06-23 14:57 7334次阅读

    区块哈希竞猜游戏系统开发加密哈希算法概述

      哈希算法(Hash function)又称散列算法,是一种从任何数据(文件、字符等)中创建小的数字“指纹”的方法。哈希算法只需满足把一
    的头像 发表于 06-24 09:51 1131次阅读
    区块<b class='flag-5'>哈希</b>竞猜游戏系统开发加密<b class='flag-5'>哈希</b><b class='flag-5'>算法</b>概述

    哈希算法函数的定义描述及其特征介绍

    哈希的本质是一采用哈希算法的数学函数,它被广泛应用于区块链中构建区块以及确认交易信息的完整性上。 什么是哈希
    的头像 发表于 06-28 21:02 6460次阅读