1.压缩包下载
这里我是从Apache官网下载的 hadoop 压缩包:hadoop2.7.5 (下载地址:https://hadoop.apache.org/releases.html)
直接下载压缩包解压放到你的硬盘中即可(注意:不要放到有空格和中文的目录下)
参考上图即可。
2.配置Hadoop
(1)在我的电脑中配置 Hadoop 的环境变量:
在系统变量中配置 HADOOP_HOME
在 Path 中配置下 bin 的位置,在末尾新建一行,加上下面这行:
%HADOOP_HOME%in
(2)在 hadoop 的 hadoop-env.cmd 文件中配置下本地 JDK 位置(参照下面即可)
(3)检查下 Hadoop 是否成功配置好,在 Dos 窗口下 输入 hadoop version 检测即可
3.Hadoop 集群配置
(1)修改 core-site.xml 文件
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
(2)修改 mapred.site.xml 文件(默认是 mapred.site.xml.template,直接改为 mapred.site.xml 即可)
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(3)修改 hdfs-site.xml 文件(对于需要的目录需要自己提前创建好)
<configuration> <!-- 每个Block 的副本数--> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- 配置下NameNode存放的位置--> <property> <name>dfs.namenode.name.dir</name> <value>file:///..../hadoop2.7.5/data/dfs/nn/name</value> </property> <!-- 配置下DataNode存放的位置--> <property> <name>dfs.datanode.data.dir</name> <value>file:///.../hadoop2.7.5/data/dfs/dn/data</value> </property> </configuration>
(4)配置 yarn-site.xml 文件
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
4.开始运行 Hadoop
(1)格式化下 NameNode
hadoop namenode -format
没有报错说明成功运行
(2)启动集群服务
start-all.cmd
结果会自动弹出四个窗口:hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。
我们也可以使用 jps 来查看下(显示出来的说明已经启动成功):
16640 Launcher 9072 NameNode 15412 RemoteMavenServer 20196 DataNode 17432 NodeManager 5384 ResourceManager 20572 Jps
(3)停止服务可以使用
stop-all.cmd