hadoop配置过程，及可能出现的问题

第一步：查看本机是否安装 jdk ，如果有对进行删除

# 先查看是否已经安装的jdk
[root@localhost ~]# rpm -qa | grep java
java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
tzdata-java-2018e-3.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

# 将已安装的jdk删除
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64 

第二步：将所需要的环境加入文件soft下(soft文件夹创建再/usr下)

第三步：对 jdk 和 hadoop 进行解压

　　// 对 jdk 解压并配置环境变量

# 解压jdk
[root@localhost ~]# cd /usr/soft
[root@localhost soft]# ls
apache-tomcat-8.5.20.tar.gz  MySQL-5.6.22-1.el6.i686.rpm-bundle.tar
jdk-8u131-linux-x64.tar.gz
[root@localhost soft]# tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local

# 配置环境变量（打开后在末尾添加以下内容）
[root@localhost ~]# vim /etc/profile

#set java environment
JAVA_HOME=/usr/local/jdk1.7.0_71
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

 　　// 对 hadoop 解压并配置环境变量（初步配置）

# 将hadoop压缩文件复制到文件 /usr/soft下
# 解压hadoop 解压到 /usr/local/hadoop
[root@localhost soft]# tar -xvf hadoop-2.7.7.tar.gz -C /usr/local/hadoop

# 配置环境变量 
[root@localhost ~]# vi /etc/profile

# hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 

 　　// 配置完成 jdk 和 hadoop 环境变量后重新加载配置文件‘

[root@localhost ~]# source /etc/profile

 　　// 检查环境配置是否完成

########## 检查java是否安装完成
[root@doaoao /]# java
用法: java [-options] class [args...]
           (执行类)
   或  java [-options] -jar jarfile [args...]
           (执行 jar 文件)
其中选项包括:
    -d32      使用 32 位数据模型 (如果可用)
    -d64      使用 64 位数据模型 (如果可用)
    -server      选择 "server" VM
                  默认 VM 是 server.

    -cp <目录和 zip/jar 文件的类搜索路径>
    -classpath <目录和 zip/jar 文件的类搜索路径>
                  用 : 分隔的目录, JAR 档案
                  和 ZIP 档案列表, 用于搜索类文件。
    -D<名称>=<值>
                  设置系统属性
    -verbose:[class|gc|jni]
                  启用详细输出
    -version      输出产品版本并退出
    -version:<值>
                  警告: 此功能已过时, 将在
                  未来发行版中删除。
                  需要指定的版本才能运行
    -showversion  输出产品版本并继续
    -jre-restrict-search | -no-jre-restrict-search
                  警告: 此功能已过时, 将在
                  未来发行版中删除。
                  在版本搜索中包括/排除用户专用 JRE
    -? -help      输出此帮助消息
    -X            输出非标准选项的帮助
    -ea[:<packagename>...|:<classname>]
    -enableassertions[:<packagename>...|:<classname>]
                  按指定的粒度启用断言
    -da[:<packagename>...|:<classname>]
    -disableassertions[:<packagename>...|:<classname>]
                  禁用具有指定粒度的断言
    -esa | -enablesystemassertions
                  启用系统断言
    -dsa | -disablesystemassertions
                  禁用系统断言
    -agentlib:<libname>[=<选项>]
                  加载本机代理库 <libname>, 例如 -agentlib:hprof
                  另请参阅 -agentlib:jdwp=help 和 -agentlib:hprof=help
    -agentpath:<pathname>[=<选项>]
                  按完整路径名加载本机代理库
    -javaagent:<jarpath>[=<选项>]
                  加载 Java 编程语言代理, 请参阅 java.lang.instrument
    -splash:<imagepath>
                  使用指定的图像显示启动屏幕
有关详细信息, 请参阅 http://www.oracle.com/technetwork/java/javase/documentation/index.html。
[root@doaoao /]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

######### 检查 hadoop 是否安装完成
[root@doaoao /]# hadoop
/usr/local/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh:行24: The: 未找到命令
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
  CLASSNAME            run the class named CLASSNAME
 or
  where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
                       note: please use "yarn jar" to launch
                             YARN applications, not this command.
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
  credential           interact with credential providers
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
  trace                view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.

 第四步：补充，修改主机名称

# 1 查看主机名称（红色部分）
[root@doaoao /]# hostnamectl
   Static hostname: doaoao
         Icon name: computer-vm
           Chassis: vm
        Machine ID: 51ba8fcff16947be99cc12250cfd754a
           Boot ID: fe59876c79f64ed8939212b59a3e121a
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-957.el7.x86_64
      Architecture: x86-64

# 2 修改主机名称
[root@doaoao /]# hostnamectl set-hostname doaoao

# 3 永久修改主机名称
[root@doaoao /]# hostnamectl --pretty            # 灵活主机名

[root@doaoao /]# hostnamectl --static            # 静态
doaoao    
[root@doaoao /]# hostnamectl --transient        # 瞬态
doaoao
[root@doaoao /]# 

# 4 修改hosts文件
[root@doaoao /]# vim /etc/hosts
# 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1    doaoao
# ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
::1            doaoao

# 5 重启虚拟机生效
[root@doaoao /]# reboot

 补充：配置文件hosts

# 这个文件的作用是，使用当前的start-dis.sh启动时hdfs时，会自动将各个atannode节点自动启动

[root@localhost html]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.37.138 doaoao
192.168.37.139 OLDTWO
192.168.37.140 OLDTHREE

 第五步：配置各个节点名

# 主节点
[root@doaoao /]# vim /etc/sysconfig/network
    # Created by anaconda
    NETWORKING=yes
    HOSTNAME=doaoao

# 子节点OLDTWO
    # Created by anaconda
    NETWORKING=yes
    HOSTNAME=OLDTWO

# 子节点OLDTHREE
    # Created by anaconda
    NETWORKING=yes
    HOSTNAME=OLDTHREE

第六步：配置ssh无密码访问

# 生成公钥
[oot@doaoao /]# cd ~/.ssh
[root@doaoao .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:fUwvgX6xqOIPhsq2/RifFkiPxZiRuoCag78iPq7dFYc root@doaoao
The key's randomart image is:
+---[RSA 2048]----+
|     .           |
|    o      .     |
|.  . =    . +    |
|o . + o. o + =   |
|oo o =E S + * .  |
|= . o.oo . o .   |
| o  o =..        |
|o+o+ B.+         |
|*=Bo+o=..        |
+----[SHA256]-----+
// 执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
其中前者为私钥，后者为公钥

# 将主节点的公钥拷贝到文件authorized_keys中
[root@doaoao .ssh]# cp id_rsa.pub authorized_keys

# 再每个子节点上生成公钥id_rsa.pub
    (与主节点生成公钥方法相同)
    
# 将子节点的公钥拷贝到主节点的指定文件夹下
[root@OLDTWO .ssh]# scp ~/.ssh/id_rsa.pub root@doaoao:/~/.ssh/id_rsa_OLDTWO.pub
[root@OLDTHREE .ssh]# scp ~/.ssh/id_rsa.pub root@doaoao:/~/.ssh/id_rsa_OLDTHREE.pub

# 将从子节点拷贝过来的含有各个节点公钥的文件合并到 authorized_keys 文件中
[root@doaoao .ssh]# cat id_rsa_OLDTWO.pub >> authorized_keys
[root@doaoao .ssh]# cat id_rsa_OLDTHREE.pub >> authorized_keys

# 测试是否可以进行免密登录
[root@doaoao .ssh]# ssh OLDTWO
Last login: Wed Mar 13 17:53:13 2019 from 192.168.65.128
[root@OLDTWO ~]# exit
登出
Connection to oldtwo closed.
[root@doaoao .ssh]# ssh OLDTHREE
Last login: Wed Mar 13 17:53:24 2019 from 192.168.65.128
[root@OLDTHREE ~]# 

 第七步：编辑 hadoop 相关文件

需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop，需要修改的有以下几个

hadoop-env.sh，yarn-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，slaves

　　首先：进入到装有hadoop文件的目录下

[root@doaoao /]# cd /usr/local/hadoop/hadoop-2.7.7/etc/hadoop
[root@doaoao hadoop]#

　　// [root@doaoao hadoop]# vim hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/home/usr/local/jdk1.8.0_131

　　// [root@doaoao hadoop]# vim yarn-env.sh

# some Java parameters
export JAVA_HOME=/home/usr/local/jdk1.8.0_131

 　　// [root@doaoao hadoop]# vim core-site.xml

# 添加一下字段，红色部分改为自己主机名称
<configuration>
        <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://doaoao:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/temp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

 　　// [root@doaoao hadoop]# vim hdfs-site.xml

# 将红色部分改为自己主机名称
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>doaoao:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.web.ugi</name>
                <value>supergroup</value>
        </property>
</configuration>

 　　// [root@doaoao hadoop]# vim mapred-site.xml.template

# 将红色部分改为自己主机名
<configuration>
    </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>doaoao:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>doaoao:19888</value>
        </property>
</configuration>

 　　// [root@doaoao hadoop]# vim yarn-site.xml

# 将红色部分改为自己主机名
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>doaoao:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>doaoao:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>doaoao:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>doaoao:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>doaoao:8088</value>
        </property>
</configuration>

 　　// [root@doaoao hadoop]# vim slaves

# 将主机和从机名添加进来(将原有的localhost删除)
doaoao  　　　　　　<------------- 主机  
ODLTWO　　　　　　　<------------- 从机
OLDTHREE　　　　　　<------------- 从机

 第八步：将文件分发到子节点中（安装到子节点中）

## 将hadoop分发到子节点中
# 从机OLDTWO    
[root@doaoao .ssh]# scp -r /usr/local/hadoop/hadoop-2.7.7 root@OLDTWO:/usr/hadoop/
# 从机OLDTHREE
[root@doaoao .ssh]# scp -r /usr/local/hadoop/hadoop-2.7.7 root@OLDTHREE:/usr/hadoop/

## 将配置文件profile发送到子节点
# 从机OLDTWO
[root@doaoao .ssh]# scp /etc/profile root@OLDTWO:/etc/
profile                                              100% 2083   989.5KB/s   00:00    
# 从机OLDTHREE
[root@doaoao .ssh]# scp /etc/profile root@OLDTHREE:/etc/
profile                                              100% 2083     1.7MB/s   00:00     

## 将jdk发送到子节点上
# 从机OLDTWO
[root@doaoao .ssh]# scp -r /usr/local/jdk1.8.0_131 root@OLDTWO:/usr/local
# 从机OLDTWO
[root@doaoao .ssh]# scp -r /usr/local/jdk1.8.0_131 root@OLDTHREE:/usr/local

 待补充：配置静态ip