博客
关于我
/opt/hbase/conf 中不能启动hbase_让 HBase 跑起来
阅读量:802 次
发布时间:2023-04-16

本文共 2385 字,大约阅读时间需要 7 分钟。

HBase 与 Hadoop 的高级配置与优化

作为 Apache HBase 的入门学习者,熟悉 Hadoop 的基础环境配置以及 HBase 的高级调优方法是非常重要的。本文将从环境搭建、HBase 配置、高级功能启用等方面,带你深入了解如何优化 HBase 的性能与使用体验。


1. Hadoop 环境搭建

在 Hadoop 环境中,首先需要完成用户的创建与权限分配。以下是具体方法:

1.1 添加 Hadoop 用户并分配 sudo 权限

# 切换到 root 用户sudo su root# 创建 hadoop 用户useradd hadoop# 设置 hadoop 用户的密码passwd hadoop

1.2 将 hadoop 用户加入 sudoers 列表

# 赋予 hadoop 用户对所有命令的执行权限sudo chmod u+w /etc/sudoers# 使用 vi 编辑 /etc/sudoers 文件vi /etc/sudoers# 在文件末尾添加以下内容:hadoop ALL=(ALL) NOPASSWD:ALL

1.3 设置 Hadoop 环境变量

# 打开 ~/.bashrc 文件进行编辑vi ~/.bashrc# 添加以下环境变量(注意:export 命令后面不要带 *号):export HADOOP_HOME=/usr/local/hadoopexport HADOOP_PREFIX=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDES_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOME# 将 Hadoop 的可执行文件路径添加到 PATH 环境变量中export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin# 其他常用环境变量(如 HADOOP_INSTALL,可根据需求添加)export HADOOP_INSTALL=$HADOOP_HOME

2. HBase 配置详解

2.1 配置 hadoop-env.sh 文件

# 打开 hadoop 的配置文件vi $HADOOP_PREFIX/etc/hadoop/hadoop-env.sh# 在文件开头添加以下内容:export HADOOP_NAMENODE_OPTS="-Xms1024m -Xmx1024m -XX:+UseParallelGC"export HADOOP_DATANODE_OPTS="-Xms1024m-Xmx1024m"export HADOOP_LOG_DIR=/data/logs/hadoop

2.2 关于 ZooKeeper 的配置

HBase 提供了自带的 ZooKeeper,如果不需要使用外部 ZooKeeper,则可以将以下参数设置为 false

# 打开 HBase 的配置文件vi $HADOOP_PREFIX/etc/hbase/conf/hbase-env.sh# 添加以下内容:export HBASE_MANAGES_ZK=false

2.3 将 HBase 添加到 supergroup 组

在 CentOS 系统中执行以下命令:

# 添加 supergroup 组groupadd supergroup# 将 hbase 用户添加到 supergroup 组groupmems -g supergroup -a hbase

3. 数据块编码与压缩器

3.1 数据块编码

数据块编码是 HBase 中优化 Key 存储空间的重要手段。常用的编码方式包括 前缀编码快速差异编码(Kylin 默认使用)。

3.1.1 前缀编码

前缀编码通过存储完整的第一个 Key,并将后续的 Key 存储为差异部分,从而减少存储空间占用。

3.1.2 快速差异编码

快速差异编码在保留了前缀编码优势的同时,进一步优化了 Timestamp 的存储方式,使得编码速度比差异编码快。


4. 启用压缩器

4.1 Snappy 压缩器

Snappy 是 HBase 官方推荐的压缩器,具有高压缩比和快速压缩速度。可以通过以下方式启用:

# 在 HBase 表的创建语句中添加压缩类型:hbase> alter 'mytable',{NAME=>'mycf',COMPRESSION=>'snappy'}

4.2 使用 Hadoop 内置压缩器

Hadoop 提供了多种压缩器,包括 Snappy、GZ、LZO 等。可以通过以下命令查看可用的压缩器:

hbase --config $HBASE_HOME/conf org.apache.hadoop.util.NativeLibraryChecker

4.3 配置 Snappy 压缩器

hbase-env.sh 文件中添加以下内容:

# 打开 HBase 的配置文件vi $HADOOP_PREFIX/etc/hbase/conf/hbase-env.sh# 添加以下内容:export HBASE_LIBRARY_PATH=$HBASE_HOME/lib/native:$HBASE_HOME/lib

5. 总结

在 HBase 的使用过程中,合理选择数据块编码方式和压缩器类型至关重要。根据具体场景选择:

  • 数据块编码:适用于 Key 占用存储空间较大的场景。
  • 压缩器:适用于 Value 占用存储空间较大的场景。

通过以上方法,可以显著提升 HBase 的存储效率和读写性能,为 HBase 的实际应用打下坚实基础。

转载地址:http://usgfk.baihongyu.com/

你可能感兴趣的文章
mysql 通过查看mysql 配置参数、状态来优化你的mysql
查看>>
mysql 里对root及普通用户赋权及更改密码的一些命令
查看>>
Mysql 重置自增列的开始序号
查看>>
mysql 锁机制 mvcc_Mysql性能优化-事务、锁和MVCC
查看>>
MySQL 错误
查看>>
mysql 随机数 rand使用
查看>>
MySQL 面试题汇总
查看>>
MySQL 面试,必须掌握的 8 大核心点
查看>>
MySQL 高可用性之keepalived+mysql双主
查看>>
mysql 默认事务隔离级别下锁分析
查看>>
Mysql--逻辑架构
查看>>
MySql-2019-4-21-复习
查看>>
mysql-5.7.18安装
查看>>
MySQL-Buffer的应用
查看>>
mysql-cluster 安装篇(1)---简介
查看>>
mysql-connector-java各种版本下载地址
查看>>
mysql-EXPLAIN
查看>>
MySQL-Explain的详解
查看>>
mysql-group_concat
查看>>
MySQL-redo日志
查看>>