今天来一起学习一下Linux安装以及部署Hadoop环境
Ps：需要安装jdk，没有安装的小伙伴移步到：点我快速进入安装jdk文章
一、下载Hadoop及上传服务器（两种方式）
1、手动下载然后上传服务器 下载地址：https://hadoop.apache.org/releases.html
2、自动下载
命令：wget http://apache.fayea.com/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
以上任选其一进行下载删除，创建文件夹已经怎么上传 我就不赘述了。 你看了我很多博客，你已经是个成熟的程序员了。
二、解压Hadoop压缩包
三、ssh安装
3.1、安装ssh：
yum install openssh-server
3.2、创建ssh文件夹，在ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥，然后把id_dsa.pub(公钥)追加到授权的key里面去。
3.3登录ssh
1、登录ssh：ssh localhost
2、第一次会询问是否继续 输入yes即可（没提示忽略此话）
3、输入密码：服务器密码
四、配置Hadoop
4.1找到你本地jdk目录（没有安装jdk请移步点我快速进入安装jdk文章）
4.2修改/kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh 指定jdk的安装目录
进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/
修改命令：vim hadoop-env.sh
修改jdk安装目录：export JAVA_HOME=/DATA/jdk/jdk1.8.0_211
4.3创建一个hadoop运行时产生文件的存储路径文件夹
进入目录：cd /kingyifan/hadoop/hadoop-2.7.7
创建目录：mkdir temp
4.4 修改core-site.xml文件
进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
创建目录：vim core-site.xml
增加以下配置：
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/kingyifan/hadoop/hadoop-2.7.7/temp</value>
</property>
</configuration>
4.5修改hadoop2.7.3/etc/hadoop/hdfs-site.xml ：
修改文件：vim /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
增加以下配置：
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
</configuration>
五、启动hadoop
5.1 第一次启动需要格式化：
格式化目录：/kingyifan/hadoop/hadoop-2.7.7/bin/hdfs namenode -format（此命令可以在任意目录下执行，因为hdfs目录是绝对路径）
5.2启动hdfs
启动命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-dfs.sh
输入第一次密码启动 namenode节点
输入第二次密码启动datanode节点 这个节点如果没启动则上传不了文件
输入第三次密码启动secondarynamenode节点
PS：切记要把三次密码输入正确，一定要把三个节点启动起来。不要用ctrl+c强制退出到控制台。
datanode节点没启动成功 上传文件会报以下错误！
不知道启动没有启动成功：jps以下
查看启动的服务：jps
ps：如果出现 root@0.0.0.0's password: 0.0.0.0: Permission denied, please try again. 解决方案如下：
5.3 关闭hdfs（此步骤可以不做。）
关闭hdfs命令： /kingyifan/hadoop/hadoop-2.7.7/sbin/stop-dfs.sh
5.4 修改iptables 增加50070端口访问权限
修改iptables：vim /etc/sysconfig/iptables
增加-A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT
重启防火墙：service iptables restart
5.5、访问ui页面：http://192.168.241.134:50070
六、安装yarn Hadoop的资源管理器
6.1、先甩一个百度百科的资源管理器资料。
6.2、配置mapred-site.xml文件
6.2.1 复制一个模板配置出来。
进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
复制一个模板出来：cp mapred-site.xml.template mapred-site.xml
6.2.2 修改刚刚复制的文件
1、进入目录 cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
2、修改文件 vim mapred-site.xml
3.、添加以下配置：
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6.3 修改yarn-site.xml:
1、进入目录 cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
2、修改文件vim yarn-site.xml
3.、添加以下配置：
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.4 YARN的启动
启动命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-yarn.sh
输入服务器密码
jps 查询一下
6.5 关闭YARN
关闭命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-yarn.sh
输入服务器密码
6.6 修改iptables 增加一下8088端口
进入iptables配置：vim /etc/sysconfig/iptables
增加8088配置：-A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT
重启防火墙：service iptables restart
6.7、访问ui页面：http://192.168.241.134:8088/cluster
七、简单运行一个统计单词出现
7.1 在hadoop根目录 创建一个test的文本文件夹
进入hadoop目录：cd /kingyifan/hadoop/hadoop-2.7.7
创建一个文本文件夹：vim test.txt
随便输入一点东西
7.2上传test.txt
上传hdfs根目录： /kingyifan/hadoop/hadoop-2.7.7/bin/hadoop fs -put /kingyifan/hadoop/hadoop-2.7.7/test.txt /
查看是否上传成功：
统计单词次数：
用hadoop执行一个叫 hadoop-mapreduce-examples.jar 的 wordcount 方法，其中输入参数为 hdfs上根目录的test.txt 文件，而输出路径为 hdfs跟目录下的out目录，运行过程如下：
命令： /kingyifan/hadoop/hadoop-2.7.7/bin/hadoop jar /kingyifan/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount hdfs://127.0.0.1:9000/test.txt hdfs://127.0.0.1:9000/out
查看执行结果：
点击Download 如果出现下面这种情况
增加iptables防火墙 50075配置
然后把访问路径localhost改为服务器ip地址。
打开part-r-0000文件查看统计单词次数：
以上就是单词统计出现次数程序
如果修改了test.txt 文件怎么重新计算呢。直接执行计算命令，会有以下报错。
报错原因 说out目录已经存在
两种解决方案：
1.删除out目录
命令：/kingyifan/hadoop/hadoop-2.7.7/bin/hadoop fs -rm -r /out out是目录名称
2.执行命令的时候把out改成别的 例：out1 out2。。
重新计算单词个数步骤：
1.删除根目录test.txt文件
2.重新上传test.txt文件
3.删除out目录
4.执行计算命令（以上步骤都有。）
终、、
以上linux安装及部署Hadoop 以及测试统计单词出现次数 有什么问题可以联系我哈。
鼓励作者写出更好的技术文档，就请我喝一瓶哇哈哈哈哈哈哈哈。。你们的赞助决定我更新的速度哦！
微信：
支付宝：
感谢一路支持我的人。。。。。
Love me and hold me
QQ:69673804（16年老号）
EMAIL:itw@tom.com
友链交换
如果有兴趣和本博客交换友链的话，请按照下面的格式在评论区进行评论，我会尽快添加上你的链接。
网站名称：KingYiFan’S Blog
网站地址：http://blog.cnbuilder.cn
网站描述：年少是你未醒的梦话，风华是燃烬的彼岸花。
网站Logo/头像： [头像地址](https://blog.cnbuilder.cn/upload/2018/7/avatar20180720144536200.jpg)