由于hadoop版本2.7.1对其他相关工具兼容较好,本文以此版本为例。
一、下载解压
各镜像站现已没有这个版本,所以去Apache官网下载
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
解压遇到问题
解决办法:转到WinRAR安装目录,右键主程序,以管理员身份打开,解压。
二、修改配置文件
配置文件目录:${HADOOP_HOME}/etc/hadoop/
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///G:/Hadoop/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///G:/Hadoop/dfs/datanode</value> </property> </configuration>
复制mapred-site.xml.template并改名mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
三、设置环境变量
HADOOP_HOME=安装目录
HADOOP_CONF_DIR=%HADOOP_HOME%/etc/hadoop
YARN_CONF_DIR=%HADOOP_CONF_DIR%
PATH前面添加%HADOOP_HOME%/bin;
四、下载winutils
下载地址:https://github.com/steveloughran/winutils
然后把对应版本目录winutils.exe和hadoop.dll文件复制到hadoop的bin目录下,将其中的hadoop.dll在C:/Windows/System32下也放一份。
五、运行Hadoop
打开cmd,bin目录执行‘hdfs namenode -format’,执行没有报错,说明成功。
然后进入sbin目录,双击start-all.cmd。
六、GUI
Resourcemanager GUI 地址 – http://localhost:8088
Namenode GUI 地址 – http://localhost:50070
Browsing HDFS 地址 – http://localhost:50070/explorer.html