大数据Hadoop集群安装教程之环境配置
推荐
在线提问>>
大数据Hadoop是非常常用的开发环境，但有不少同学在环境配置上面出现了问题，下面小千就来带大家顺一遍环境配置的方法。
安装Hadoop集群时要确保以下几个方面, 参考下面检查工程
1. 本机与虚拟机之间是否可以通信
1.1 本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机）
1.2 虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法）
1.3 虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查VMware1网卡设置与虚拟机网卡设置是否匹配。桥接模式是为了让虚拟机可以连接外网，只需要改该虚拟机网卡信息即可（网关）
2. 虚拟机之间是否可以通信
具体的一些命令操作
2.1关闭本机网络管理
/etc/init.d/NetworkManager stop
chkconfig NetworkManager off
2.2关闭防火墙
chkconfig iptables off
service iptables save
3. 更改主机名称
vi /etc/sysconfig/network
4. 更改主机与ip映射
vi /etc/hosts
5. 安装JDK和hadoop
5.1 安装
tar -zxvf jdk-7u79-linux-x64.tar.gz –C /usr/local
tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/
5.2 重新设置hadoop,jdk的所属组,所属人
chown root:root hadoop-2.7.1 javajdk
5.3 hadoop的目录理解
1）bin:hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop
2）etc:hadoop配置文件所在的目录,包括core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.mxl等文件
3）include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序
4）lib:该目录包含了hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用
5）libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息
6）sbin:hadoop脚本管理所在目录,主要包含hdfs,yarn中各类服务的启动/关闭脚本
7）share:hadoop各个模块编译后的jar包所在目录
6. 修改系统环境变量
6.1 到/etc/profile下进行修改
export JAVA_HOME=/usr/local /java/
export HADOOP_HOME=/usr/local /hadoop-2.7.1/
export HIVE_HOME=/usr/local/hive/
export ZOOKEEPER_HOME=/usr/local /zookeeper/
export
PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:
6.2 使修改后的系统生效
source /etc/profile
6.3 测试
java –version
hadoop version
7. 克隆
主机台数:3台
名字:master slave1 slave2
8. 设置免密登录
8.1 方式一 选其一
进入cd /root/.ssh 执行
ssh-keygen -t rsa
ssh-copy-id master@root 自己对自己免密
ssh-copy-id slave1@root
ssh-copy-id slave2@root
8.2 方式二 选其一
解释:-t 是要生成的密钥类型 -p 是原来的旧密码,没有就写'' -f是密钥生成后保存文件的位置 (这些都可以不写,取默认的)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave1:/root/.ssh/
scp ~/.ssh/authorized_keys slave2:/root/.ssh/
最后如果你对大数据开发感兴趣的，不妨来千锋大数据培训班了解一下我们的大数据学习课程，全程名师面授，现在还有免费大数据学习资料可以领取，赶紧来看一下吧。
