CentOS7配置ip和ssh免密登录和hadoop环境

原因：因为centOS6已经停止维护更新，所有我们不得不使用centOS7.
CentoS 6 停止维护更新日期2020年11月30日
CentOS 7 停止维护更新日期2024年6月30日
CentOS 8 停止维护更新日期2029年5月31日

以下操作在root下完成
1.首先先修改主机名 vi /etc/hostname
2.配置静态ip vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" # 使用静态IP地址，默认为dhcp
IPADDR="192.168.56.2" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.56.1" # 网关地址 主机ip
DNS=8.8.8.8
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="95b614cd-79b0-4755-b08d-99f1cca7271b"
DEVICE="enp0s3" #需要和NAME对上
ONBOOT="yes" # 是否开机启用
3.配置映射 vi /etc/hosts
在最后加上一条 (192.168.56.2 修改后的主机名 )
4.重启网卡服务 service network restart
5.查看ip是否修改和是否可以ping通
ifconfig 查看ip地址等配置,找到自己配的enp0s3
ping 192.168.56.2 查看是否ping通
6.关闭防火墙
首先查看 防火墙状态 systemctl status firewalld.service 绿色的则为开启状态。
关闭防火墙 systemctl stop firewalld.service 没有看得到的响应，继续禁用防火墙
禁用防火墙服务 systemctl disable firewalld.service 会有两行反应，即为成功。
7.配置SSH公钥
ssh-keygen -t rsa 会让你输入东西，不用输入，一直按回车，直到出现新的输入时等于公钥生成
复制虚拟机公钥到主机
ssh-copy-id ~/.ssh/id_rsa.pub root@master(我的主机名为master，@后为自己修改的主机名)
此步需要输入一个yes和root用户的密码。
SSH公钥配置完成

linux配置jdk，hadoop等生态软件
1.首先先准备jdk和Hadoop的安装包
通过FileZilla上传到Linux中(一般都放在/opt目录下)
如果觉得使用linux界面不能复制，可以使用xshell来操作。
首先创建连接。配置的ssh公钥就在这里使用的，直接选择记住账号，记住密码，可能在连接时输入账号后需要等一下，请同学耐心等待。
首先先看一下linux的jdk的版本 java -version
我们需要使用的是jdk1.8版本的
需要把1.7的卸载干净 rpm -qa | grep jdk 可以查看本机的存在的jdk的所有版本
通过 rpm -e --nodeps （此处是jdk版本的全路径，已经通过上面的rpm命令找到，直接复制即可）
到/opt下，解压jdk和hadoop 解压命令：tar -zxvf ***(需要解压的压缩包)
解压结束后可以多打开几个连接，分别进入jdk和hadoop的目录下
pwd获取到当前位置(配置环境变量需要用到)
2.配置环境变量 vi /etc/profile
可以直接使用快捷键 shift+g到最后，配置环境变量
export JAVA_HOME=/opt/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
3.修改配置文件
3.1 vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
hadoop运行环境:用来定义hadoop运行环境相关的配置信息
找到 export JAVA_HOME 把后面的地址改成自己的,并且把hadoop的加上去
export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/opt/hadoop-2.7.3
3.2 vi /opt/hadoop-2.7.3/etc/hadoop/core-site.xml
集群全局参数:用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等
写在中
标签无法显示出来，但都是在中写的，


fs.default.name
hdfs://master:8020 //master是主机名


hadoop.tmp.dir
/opt/hdfs/tmp

3.3 vi /opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
HDFS:如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等

dfs.replication
3


dfs.name.dir
/opt/hdfs/name


dfs.data.dir
/opt/hdfs/data

3.4 只有mapred-site.xml.template副本，需要先复制一份 cp mapred-site.xml.template mapred-site.xml
Mapreduce参数:包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等
vi /opt/hadoop-2.7.3/etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn

3.5 vi /opt/hadoop-2.7.3/etc/hadoop/yarn-site.xml
集群资源管理系统参数:配置ResourceManager,nodeManager的通信端口，web监控端口等

yarn.resourcemanager.address
wuya:8080


yarn.resourcemanager.resource-tracker.address
wuya:8082


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

3.6 vi slaves
修改成自己的主机名。
4.配置完毕后，格式化 hdfs namdnode -format