全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  大数据面试题  >  详情

大数据中HRegion的作用

来源:千锋教育
发布人:qyf
2022-12-09

推荐

在线提问>>

大数据中HRegion的作用

  Table在行的方向上分割为多个HRegion,HRegion是HBase中分布式存储和负载均衡的最小单元,即不同的HRegion可以分别在不同的HRegionServer上,但同一个HRegion是不会拆分到多个HRegionServer上的。HRegion按大小分割,每个表一般只有一个HRegion,随着数据不断插入表,HRegion不断增大,当HRegion的某个列簇达到一个阀值(默认256M)时就会分成两个新的HRegion。

  1、<表名,StartRowKey, 创建时间>

  2、由目录表(-ROOT-和.META.)记录该Region的EndRowKey

  HRegion定位:HRegion被分配给哪个HRegionServer是完全动态的,所以需要机制来定位HRegion具体在哪个HRegionServer,HBase使用三层结构来定位HRegion:

  1、通过zk里的文件/hbase/rs得到-ROOT-表的位置。-ROOT-表只有一个region。

  2、通过-ROOT-表查找.META.表的第一个表中相应的HRegion位置。其实-ROOT-表是.META.表的第一个region;

  .META.表中的每一个Region在-ROOT-表中都是一行记录。

  3、通过.META.表找到所要的用户表HRegion的位置。用户表的每个HRegion在.META.表中都是一行记录。

  -ROOT-表永远不会被分隔为多个HRegion,保证了最多需要三次跳转,就能定位到任意的region。Client会将查询的位置信息保存缓存起来,缓存不会主动失效,因此如果Client上的缓存全部失效,则需要进行6次网络来回,才能定位到正确的HRegion,其中三次用来发现缓存失效,另外三次用来获取位置信息。

相关文章

大数据的五个V是什么?

2022-12-09

数据及集群管理(三)

2022-12-09

数据及集群管理(二)

2022-12-09

数据及集群管理(一)

2022-12-09

大数据之hbase的优化读数据方面

2022-12-09

大数据之hbase的优化写入数据方面

2022-12-09
在线咨询 免费试学 教程领取