Linux CentOS7 配置hadoop (二) 配置hdfs(伪分布)

第二篇： CentOS7 配置hadoop (二) 配置hdfs(伪分布)

配置hdfs：

1.修改主机名

　　在CentOS 7中，我们可以通过hostname命令查看当前的主机名。

　　

     我们可以通过命令“hostnamectl set-hostname 主机名”来永久修改主机名。

　　

vi /etc/hosts

 　　　这里的红框内是在下面的NAT 设置的网络 网关 子网，其中 IPADDR 要和NAT 设置的 网关IP前三段一致 ，后一段不一样就可以

　　打开编辑，点击虚拟网络编辑器

　　注意IP的设置

 　　设置完记得service network restart

　　查看IP 指令为 ip addr

 3.配置静态IP地址，

使用命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33

 

:wq!  保存并退出    

 4.查看IP 指令为 ip addr

 

5.service network restart重启网络

6.在配置SSH无密码连接之前，需要关闭防火墙

关闭防火墙  service iptables stop
永久关闭防火墙  chkconfig iptables off 

 7. 检查SSH是否安装 （root用户执行 所有节点都需执行）

绝大多数系统已经附带SSH，但是预防万一，可以进行SSH安装

yum install  ssh

yum install rsync

 service sshd start启动SSH服务   

 检查SSH是否安装成功

rpm -qa | grep openssh

rpm -qa | grep rsync

配置ssh公钥   ssh-keygen -t rsa 一直回车就行

 公钥生成位置 ： /home/用户名/.ssh隐藏目录下  ls -a  查看隐藏目录

 公钥拷贝至本机得zuthorized_key列表   

ssh-copy-id -i ~/.ssh/id_rsa.pub  用户名@主机名(例master@master)

 重启虚拟机

8.使用Xshell工具连接到

 

 

  9.链接FileZilla

10.使用FileZilla上传文件到虚拟机   右键上传

 卸载Open JDK root用户执行

查看当前系统jdk，如果出现openjdk则需要删除

rpm -qa | grep jdk

 

删除openjdk 命令  rpm -e  --nodeps java....

11.上传完毕到xshell工具里解压两个tar压缩包   命令 tar -xzvf 压缩包名

12.解压完成配置环境变量 vi /etc/profile

        export JAVA_HOME=/opt/jdk1.8.0_161
        export PATH=$PATH:$JAVA_HOME/bin
        export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.7.0
        export PATH=$PATH:$HADOOP_HOME/bin

配置完环境变量记得 source /etc/profile 

 检查配置完成后的jdk版本  

java -version

13.配置hadoop 先进入    cd /opt/hadoop-2.6.0-cdh5.7.0/etc/hadoop   文件目录下

      1）修改hadoop-env.sh 文件

                   export JAVA_HOME=/opt/jdk1.8.0_161
                   export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.7.0

 

 　　  2）修改core-site.xml 文件

　　　　　　<property>
                      　　<name>fs.default.name</name>
                      　　<value>hdfs://master:8020</value>
             　　</property>
            　　 <property>
                     　　 <name>hadoop.tmp.dir</name>
                      　　<value>/opt/hdfs/tmp</value>
            　　 </property>

      3）修改hdfs-site.xml文件       

<property>
　　 <name>dfs.replication</name>
　　 <value>3</value>
　　</property>
　　 <property>
　　 <name>dfs.name.dir</name>
　　 <value>/opt/data/name</value>
　　 </property>
　　 <property>
　　 <name>dfs.data.dir</name>
　　 <value>/opt/data/data</value>
　　 </property>

 

      4）修改mapred-site.xml文件   要先执行cp 命令(cp mapred-site.xml.template mapred-site.xml)

　　　　　　<property>
                   　　  <name>mapreduce.framework.name</name>
                  　　   <value>yarn</value>
             　　</property>

      5）修改yarn-site.xml文件

　　            　　 <property>
                 　　    <name>yarn.resourcemanager.address</name>
                 　　    <value>master:8080</value>
               　　 </property>
               　　 <property>
                 <name>yarn.resourcemanager.resource-tracker.address</name>
                  　　   <value>master:8082</value>
               　　 </property>
              　　  <property>
                　　     <name>yarn.nodemanager.aux-services</name>
               　　      <value>mapreduce_shuffle</value>
              　　  </property>
               　　 <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                 　　    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
               　　 </property>

      6）修改slaves 文件

             vi etc/hadoop/slaves

　　　　写入主机名（master）

14.格式化hdfs  命令hadoop namenode -format

 15 .启动hdfs 进入到 cd /opt/hadoop-2.6.0-cdh5.7.0/sbin/      执行启动命令 ./start-all.sh 关闭命令  ./stop-all.sh 

输入jps查看 

 

 

 

作者：旧歌
链接：https://www.cnblogs.com/wdyjt/p/14142994.html
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须在文章页面给出原文连接，否则保留追究法律责任的权利