[问答]

面向列的HBase存储结构究竟有什么样的不同之处呢？

问答对人有帮助，内容完整，我也想知道答案 0 HBase是什么？ HBase的存储结构究竟是怎样的呢？面向列的HBase存储结构究竟有什么样的不同之处呢？ 0
2021-6-16 06:52:03　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × gfhtrdfd 该类别下有 54 个回答。邀请回答 fejlkel 该类别下有 47 个回答。邀请回答 jefljel 该类别下有 40 个回答。邀请回答 fdvcxhtg 该类别下有 40 个回答。邀请回答 flewfjk 该类别下有 38 个回答。邀请回答 fdjslkjd 该类别下有 31 个回答。邀请回答 djelje 该类别下有 30 个回答。邀请回答 efwedfd 该类别下有 29 个回答。邀请回答 1123127317 该类别下有 29 个回答。邀请回答 yqdedli 该类别下有 27 个回答。邀请回答 ytrwv 该类别下有 25 个回答。邀请回答 tr12345 该类别下有 25 个回答。邀请回答 ejlwj 该类别下有 23 个回答。邀请回答 tr4578 该类别下有 23 个回答。邀请回答 djfldsthtr 该类别下有 22 个回答。邀请回答逸興遄飛该类别下有 21 个回答。邀请回答算一挂该类别下有 17 个回答。邀请回答一刀两断该类别下有 15 个回答。邀请回答北上北京该类别下有 8 个回答。邀请回答 abc明星该类别下有 8 个回答。邀请回答举报孙奕相关推荐 • 究竟步进电机与伺服电机的不同之处主要表现在哪里呢？ 1274 • PCI-E4.0究竟有什么优势？ 1409 • 内存时序究竟有多重要呢？究竟该如何去选择内存条呢？ 2392 • 请问片内flash被统一地映射到程序和数据存储空间这是什么意思？在物理结构上究竟是个什么样的？ 1993 • 请问一下RFID与NFC究竟有什么关系？ 1747 • 蝶式五轨滑盖结构设计与磁动力滑盖结构设计的不同之处在哪？ 1531 • STM32F103和STM32F030 ADC有哪些不同之处呢 1973 • 请问一下L78L05ABUTR与L78L05ACUTR有哪些不同之处呢？ 255 • stm32f103的APB1和APB2有哪些不同之处呢 1945 • USART与USAR有哪些不同之处呢 2287 1个回答

答案对人有帮助，有参考价值 0 　　前言　　HBase 是一个分布式的、多版本、面向列的开源 KV 数据库。运行在 HDFS 的基础上，支持 PB 级别、百万列的数据存储。作为性能如此强大的 KV 数据库，HBase的存储结构究竟是怎样的呢？面向列的存储结构究竟有什么样的不同之处呢？接下来会详细讲解这部分。　　HBase的存储结构　　为了清晰地表述这个，我们把HBase的存储结构分为逻辑结构和物理结构两个部分。　　逻辑存储结构　　通过下图直观地展示 HBase 的逻辑存储结构：　　　　在本图中，列簇（Column Family）对应的值就是 info 和 area ，列（ Column 或者称为 Qualifier ）对应的就是 name 、 age 、 country 和 city ，Row key 对应的就是 Row 1 和 Row 2，Cell 对应的就是具体的值。　　Row key ：表的主键，按照字典序排序。　　列簇：在 HBase 中，列簇将表进行横向切割。　　列：属于某一个列簇，在 HBase 中可以进行动态的添加。　　Cell ：是指具体的 Value 。　　Version ：在这张图里面没有显示出来，这个是指版本号，用时间戳（TimeStamp ）来表示。　　看完这张图，是不是有点疑惑，怎么获取其中的一条数据呢？既然 HBase 是 KV 的数据库，那么当然是以获取 KEY 的形式来获取到 Value 啦。在 HBase 中的 KEY 组成是这样的：　　　　KEY 的组成是以 Row key 、CF（Column Family）、Column 和 TimeStamp 组成的。　　TimeStamp 在 HBase 中充当的作用就是版本号，因为在 HBase 中有着数据多版本的特性，所以同一个 KEY 可以有多个版本的 Value 值（可以通过配置来设置多少个版本）。查询的话是默认取回最新版本的那条数据，但是也可以进行查询多个版本号的数据，在接下来的进阶操作文章中会有演示。　　Region Server 和 Region 的关系　　　　一个 Region Server 就是一个机器节点（服务器）　　一个 Region Server 包含着多个 Region 　　一个 Region 包含着多个列簇（CF）　　一个 Region Server 中可以有多张 Table，一张 Table 可以有多个 Region 　　物理存储结构　　先来看这张图：　　　　为了不混淆，我们可以先把以下的概念一一对应起来　　逻辑结构物理结构Region ServerHRegion ServerRegionHRegionCFHStore（这里指的是Store）　　在具体的物理结构中　　HRegion Server 就是一个机器节点，包含多个 HRegion ，但是这些 HRegion 不一定是来自于同一个 Table ，负责响应的是用户的 IO 请求，和 HDFS 进行交互，是服务器中的一个进程。　　HRegion 包含多个 HStore 。　　一个 CF 组成一个 HStore ，默认是 10 G，如果大于 10G 会进行分裂。HStore 是 HBase 的核心存储单元，一个 HStore 由 MemStore 和 StoreFile 组成。　　MemStore 是一块内存，默认大小是 128M，如果超过了这个大小，那么就会进行刷盘，把内存里的数据刷进到 StoreFile 中。　　在 HStore 对应着的是 Table 里面的 Column Family，不管有 CF 中有多少的数据，都会存储在 HStore 中，为了避免访问不同的 HStore 而导致的效率低下。　　HRegion 是 Hbase 中分布式存储和负载均衡的最小单元，但不是存储的最小单元。　　一个 Hstore 可以有多个 StoreFile 　　在HBase中查找不同的CF的数据　　从不同的 CF 中查询 Row 3 主键的数据，结果集如下：　　　　更加直观地显示，在 HBase 中是以 CF 为单元的存储结构。　　HBase的架构　　如下图，HBase 的架构图，在 HBase 中我们看到有 Client、Zookeeper、HMaster 和 HRegion。　　　　Client 是客户端，要求读写数据的发起者。　　ZK 集群是负责转发 Client 的请求和提供心跳机制，会让 HRegion Server 和 HRegion 注册进来，同时保存着 Rowkey 和 Region 的映射关系。　　HMaster 中可以有多个待命，只有一个在活跃。　　Hbase读取数据的过程　　Client 请求读取数据时，先转发到 ZK 集群，在 ZK 集群中寻找到相对应的 Region Server，再找到对应的 Region，先是查 MemStore，如果在 MemStore 中获取到数据，那么就会直接返回，否则就是再由 Region 找到对应的 Store File，从而查到具体的数据。　　在整个架构中，HMaster 和 HRegion Server 可以是同一个节点上，可以有多个 HMaster 存在，但是只有一个 HMaster 在活跃。　　在 Client 端会进行 rowkey-》 HRegion 映射关系的缓存，降低下次寻址的压力。　　HBase 写入数据的过程　　　　先是 Client 进行发起数据的插入请求，如果 Client 本身存储了关于 Rowkey 和 Region 的映射关系的话，那么就会先查找到具体的对应关系，如果没有的话，就会在ZK中进行查找到对应 Region server，然后再转发到具体的 Region 上。所有的数据在写入的时候先是记录在 WAL 中，同时检查关于 MemStore 是否满了，如果是满了，那么就会进行刷盘，输出到一个 Hfile 中，如果没有满的话，那么就是先写进 Memstore 中，然后再刷到 WAL 中。

2021-6-16 11:03:58 评论举报张倩