Windows7单机部署Hadoop

• 检查/安装JDK1.8

　　　　这个安装及环境变量的配置就不再赘述了。

　　　　

• 下载Hadoop包

　　　下载地址是http://archive.apache.org/dist/hadoop/core/    我这里选择的是2.5.1的版本

             

• 解压Hadoop包，并添加环境变量。

　　　　将上面下载好的Hadoop包解压到一个目录，因为后期要上传数据，建议选择一个剩余存储空间比较大的目录。

　　　　

　　　　设置环境变量 HADOOP_HOME="F:hadoophadoop-2.5.1"

　　　　

　　　　将该路径"%HADOOP_HOME%in"添加到系统路径path中

　　　　

• 下载window util for hadoop

　　　下载地址是：https://codeload.github.com/gvreddy1210/bin/zip/master，注意该工具的版本与Hadoop版本的需要兼容，下载完成后解压覆盖到上述路径的bin目录下，例如：F:hadoophadoop-2.5.1in。

• 创建DataNode和NameNode

　　  创建 Data目录和Name目录，用来存储数据，例如：F:hadoophadoop-2.5.1datadatanode和F:hadoophadoop-2.5.1data amenode。

• 修改Hadoop相关的配置文件

　　 主要修改四个配置文件：core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml,，这四个文件的路径为：F:hadoophadoop-2.5.1etchadoop。修改的 内容如下：

• • core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

• • hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/datanode</value>
    </property>
</configuration>

• • mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• • yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>

</configuration>

　　　　注意：注意把上面涉及的路径改成你自己的路径。

• 初始化节点

　　进入到hadoopin目录下，执行命令：hadoop namenode -format

　　　

• 启动Hadoop

　　完成上面的初始化工作后，就可以启动Hadoop了，进入到hadoopsbin目录下，执行命令：start-all(关闭命令是 stop-all)

　　

　　出现下面四个窗口后，说明开始启动了

　　

•  检查是否启动成功

　　执行命令 jsp

　　

　　出现以上几个java进程，说明启动成功了。

　　HDFS文件系统地址：http://localhost:50070

　　

　　至此部署完成。