zoukankan      html  css  js  c++  java
  • Hadoop学习之Windows单机版安装

    配置Hadoop环境变量:
    1.Windows环境变量配置

       鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图:

    2.接着找到环境变量path,将hadoop的bin目录加入到后面:

    修改hadoop配置文件

    (1)编辑“D:hadoop-2.7.5etchadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存;

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/D:/hadoop-2.7.5/workplace/tmp</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/D:/hadoop-2.7.5/workplace/name</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

    (2)编辑“D:hadoop-2.7.5etchadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存:

    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
        <property>
           <name>mapred.job.tracker</name>
           <value>hdfs://localhost:9001</value>
        </property>
    </configuration>

    (3)编辑“D:hadoop-2.7.5etchadoop”目录下的hdfs-site.xml文件,粘贴以下内容并保存。请自行创建data目录,在这里我是在HADOOP_HOME目录下创建了workplace/data目录:

    <configuration>
        <!-- 这个参数设置为1,因为是单机版hadoop -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/D:/hadoop-2.7.5/workplace/data</value>
        </property>
    </configuration>

    (4)编辑“D:hadoop-2.7.5etchadoop”目录下的yarn-site.xml文件,粘贴以下内容并保存;

    <configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

    (5)编辑“D:hadoop-2.7.5etchadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存:

    @rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=D:javajdk

    替换文件
    将下载好的hadooponwindows-master.zip(笔记第一步有下载地址,不知道可以去笔记开头的需求栏目查看)解压,将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。备注:下载hadooponwindows-master.zip(后面有用)

    运行环境

    1.运行cmd窗口,执行“hdfs namenode -format

    2.运行cmd窗口,切换到hadoop的sbin目录,执行“start-all.cmd”,它将会启动以下进程。

    转自:https://blog.csdn.net/a2099948768/article/details/79577246

  • 相关阅读:
    UI进阶--UIPikcerView实现餐点搭配示例
    UI基础--UITableView实现仿QQ好友列表页面
    通知和代理
    UI基础--UITableView实现仿QQ聊天页面
    UI基础--UITableView实现仿微博页面
    UI基础--UITableView,UITableViewDataSource,UITableViewDelegate的一些属性和方法
    UI基础--使用UIScrollView、UIPageControl、NSTimer实现图片循环播放
    UI基础--UIScrollView和UIScrollViewDelegate
    NSURLSession 简介
    Core Animation
  • 原文地址:https://www.cnblogs.com/sunfie/p/12243042.html
Copyright © 2011-2022 走看看