7月22日

配置免密登录

Ssh 免密访问

[atguigu@hadoop102 .ssh]$ pwd

 /home/atguigu/.ssh

 [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

编写分发脚本

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

 echo Not Enough Arguement!

 exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

 echo ==================== $host ====================

 #3. 遍历所有目录，挨个发送

 for file in $@

 do

 #4. 判断文件是否存在

 if [ -e $file ]

 then

 #5. 获取父目录

 pdir=$(cd -P $(dirname $file); pwd)

 #6. 获取当前文件的名称

 fname=$(basename $file)

 ssh $host "mkdir -p $pdir"

 rsync -av $pdir/$fname $host:$pdir

 else

 echo $file does not exists!

 fi

 done

done

 

配置集群，通过

[jxp@hadoop104 ~]$ cd /opt/module/hadoop-3.1.3/

[jxp@hadoop104 hadoop-3.1.3]$ cd etc/hadoop/

[jxp@hadoop102 hadoop]$ vim core-site.xml

[jxp@hadoop102 hadoop]$ vim hdfs-site.xml

[jxp@hadoop102 hadoop]$ vim yarn-site.xml

[jxp@hadoop102 hadoop]$ vim mapred-site.xml

进行修改配置文件

并通过xsync来发送

   Xsync  文件名

群起集群

如果这里只有两个，可能是yarn没有启动，手动启动yarn

 

再次启动的话应该是启动102 上的fds

$ sbin/start-dfs.sh

启动103上的yarn

     Sbin/start-yarn.sh

学习 12：00到15：56