全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  大数据面试题  >  详情

数据及集群管理(二)

来源:千锋教育
发布人:qyf
2022-12-09

推荐

在线提问>>

数据及集群管理

  磁盘配置

  每台RegionServer管理10-1000个Regions。每个Region在1-2G,则每台server最少要10G,最大要1000*2G=2TB,考虑3备份,需要6TB。方案1是3块2TB磁盘,2是12块500G磁盘,带宽足够时,后者能提供更大的吞吐率,更细力度的冗余备份,更快速的单盘故障恢复。

  分配何时的内存给RegionServer

  在不影响其他服务的情况下,越大越好。在HBase的conf目录下的hbase-env.sh的最后添加export HBASE_REGIONSERVER_OPTS="- Xmx16000m $HBASE_REGIONSERVER_OPTS"

  其中16000m为分配给REgionServer的内存大小。

  写数据的备份数

  备份数与读性能是成正比,与写性能成反比,且备份数影响高可用性。有两种配置方式,一种是将hdfs-site.xml拷贝到hbase的conf目录下,然后在其中添加或修改配置项dfs.replication的值为要设置的备份数,这种修改所有的HBase用户都生效。另一种方式是改写HBase代码,让HBase支持针对列族设置备份数,在创建表时,设置列族备份数,默认为3.此种备份数支队设置的列族生效。

  客户端一次从服务器拉取的数量

  通过配置一次拉取较大的数据量可以减少客户端获取数据的时间,但是他会占用客户端的内存,有三个地方可以进行配置

  在HBase的conf配置文件中进行配置hbase.client.scanner.caching;

  通过调用HTble.setScannerCaching(int scannerCaching)进行配置;

  通过调用Sacn.setCaching(int caching)进行配置,三者的优先级越来越高。

相关文章

大数据的五个V是什么?

2022-12-09

数据及集群管理(三)

2022-12-09

数据及集群管理(二)

2022-12-09

数据及集群管理(一)

2022-12-09

大数据之hbase的优化读数据方面

2022-12-09

大数据之hbase的优化写入数据方面

2022-12-09
在线咨询 免费试学 教程领取