[过程记录]Centos7 下 Hadoop分布式集群搭建

过程如下：

配置hosts

vim /etc/hosts

格式：

ip hostname

ip hostname

设置免密登陆

首先：每台主机使用ssh命令连接其余主机

ssh 用户名@主机名

提示是否连接：输入yes

提示输入密码：输入被请求连接主机的密码

成功过后

就会在本机的~目录下生成  .ssh文件夹

然后在master的主机上进入 ~/.ssh 目录

执行：

ssh-keygen -t rsa

回车回车再回车

得到  id_rsa   id_rsa.pub  两个文件
复制一份 id_rsa.pub

cp id_rsa.pub authorized_keys

 

修改权限

修改.ssh权限

chmod -R 700 .ssh

 修改quthorized_keys权限

chmod 600 authorized_keys

 尝试ssh连接本机

ssh root@xinglichao

 成功免密登陆

 然后将 authorized_keys 分发到其他主机

scp ~/.ssh/authorized_keys root@****:~/.ssh

同样尝试ssh连接其余主机，全部可以免密登陆

下载好hadoop并解压到指定文件夹下

master以及其余主机上配置 /etc/profile

首先找到java的安装路径

[root@xinglichao-centos ~]# which java
/usr/bin/java
[root@xinglichao-centos ~]# ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 9月  25 18:42 /usr/bin/java -> /etc/alternatives/java
[root@xinglichao-centos ~]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 71 9月  25 18:42 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java

然后编辑profile

vim /etc/profile

 添加JAVA_HOME以及HADOOP_HOME

 source一下使配置文件生效

source /etc/profile

master上修改hadoop的配置文件：hadoop-env.sh

vim /usr/apache/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

增加内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
export HADOOP_HOME=/usr/apache/hadoop-2.7.5

测试hadoop

hadoop

 master上修改hadoop中的slaves文件，指定为另外主机名（此处不贴截图了）

vim /etc/hadoop/hadoop-2.7.5/etc/hadoop/slaves

 master主机创建name节点文件夹，slaves节点创建data文件夹

master：
mkdir -p hadoop/hadoop-2.7.5/node/dfs/name
slaves：
mkdir -p hadoop/hadoop-2.7.5/node/dfs/data

  master中修改与hadoop-env.sh同文件夹下的core-site.xml

<configuration>

<property>

        <name>fs.default.name</name>

        <value>hdfs://xinglichao:9000</value>

    </property>

<property>

          <name>hadoop.tmp.dir</name>

          <value>/usr/hadoop/hadoop-2.7.5/node</value>

    </property>

</configuration>

 

 master中修改与hadoop-env.sh同文件夹下的修改hdfs-site.xml

<configuration>

<property>

        <name>dfs.replication</name>

      <value>3</value>

</property>

  <property>

      <name>dfs.name.dir</name>

        <value>/usr/hadoop/hadoop-2.7.5/node/dfs/name</value>

</property>

    <property>

      <name>dfs.data.dir</name>

      <value>/usr/hadoop/hadoop-2.7.5/node/dfs/data</value>

    </property>


</configuration>

 

 复制mapred-site.xml.template一份为mapred-site.xml，并修改为

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

master中修改yarn-site.xml

<configuration>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>xinglichao</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

 分发hadoop到其他slaves主机

scp -r /etc/hadoop/hadoop-2.7.5 root@****:/etc/hadoop/

 

在master上格式化文件系统

hdfs namenode -format

 此时出现问题：找不到java

---

/usr/hadoop/hadoop-2.7.5/bin/hdfs:行304: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/bin/java: 没有那个文件或目录

---

 再查看下java的安装路径

发现：原来是在上一路径下的jre文件夹下

---

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java

---

 修改hadoop中hadoop-env.sh

在JAVA_HOME后添加   /jre  （注：此处的路径与上面的不同，理由在下面）

另外：

当我执行 jps命令查看节点运行状态时发现jps不是内部命令，于是更新了java

yum install java-1.8.0-openjdk-devel.x86_64

 上图的路径是已经配置了新版本的java路径后的文件

 再次格式化文件系统：hdfs namenode -formate

jps一下，至此算是成功了

后续的使用就是创建工程文件夹，上传文件到HDFS，写MapReduce，执行代码（参考：hadoop单机伪分布式与真分布式系统下运行MR代码）

---

 本节完......