zoukankan      html  css  js  c++  java
  • Hadoop伪分布式环境安装

    一.环境准备

      阿里云ECS(Centos7).已预装JDK8

      Hadoop安装包 hadoop-2.7.7.tar.gz

    二. 安装步骤

      1.确认JDK环境的安装位置

      命令 echo $JAVA_HOME

      2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义)

      命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/ (我这里是解压到 /opt/module/目录下)

      3.配置运行环境

        文件1:hadoop-env.sh

            配置Hadoop对JDK依赖的环境

          输入echo JAVA_HOME=(JDK环境的安装位置,根据步骤1可以确定)

        文件2:core-site.xml

          配置文件系统柜HDFS的主机名称和端口号(这里使用本机的名称,可以通过hostname查看主机名称.端口号随意指定,但是要在阿里云控制台开启对外端口

    <property>
          <name>fs.default.name</name><value>hdfs://localhost:8020</value></property>

          配置文件系统namenode节点文件存放的目录

    <property>
          <name>dfs.name.dir</name>//hadoop临时目录用来存放临时文件,如果不设置,则该文件会在linux系统重启后消失
          <value>/hadoop/name</value>  //该目录必须预先手工创建不能删除
    </property>

         配置文件系统柜datanode节点文件存放目录

    <property>
          <name>dfs.data.dir</name>          //hadoop临时目录用来存放namenode文件
          <value>/hadoop/data</value>       //该目录必须预先手工创建不能删除
    </property>

          配置文件系统临时文件的存放目录

    <property>
          <name>hadoop.tmp.dir</name>  //hadoop临时目录用来存放datanode文件 
        <value>/hadoop/tmp</value> //该目录必须预先手工创建不能删除
    </property>

       文件2:hdfs-site.xml

          配置dfs的副本数量,伪分布式设置为1即可

    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>

      4.配置完成后需要 format格式化文件系统(注意.第一次执行即可,不要重复执行,重复执行会出问题,https://blog.csdn.net/weixin_38847462/article/details/77879459)

        进入bin 目录下./hadoop namenode -format

        出现以下提示表示格式化成功

        

       5.启动hdfs 

        进入sbin目录下.启动脚本./start-dfs.sh

        启动完成后 输入 jps可以查看是否启动成功(注意,如果这里没有配置ssh免密登录,name就会要你输入密码,很烦)

        看到以下就是启动成功了

        

         注意:如果没有这几个进程,就是启动失败,可以查看日志信息,日志信息在启动时可以查看,将out变为log即可

        http://localhost:50070

      6.配置Hadoop 的bin目录到系统的环境变量中,这样使用shell就比较方便

        /opt/module/hadoop-2.7.7/bin

        vim ~/.bash_profile 

                

        source ~/.bash_profile 

        使用echo $HADOOP_HOME确认是否配置成功

        

       7.hadoop常用的命令

        

        

          

  • 相关阅读:
    jira启动错误解决:Failed to read artifact descriptor for com.atlassian.plugins.rest:atlassian-rest-doclet:jar:2.9.2:
    jira8.0 api变化--含解决方法
    jira spring scanner注意事項
    pom文件添加aliyun镜像
    jira插件打包时报osgi的错误
    jira 根据项目(project)获取优先级(proirity)
    scriptrunner fragments设置web resource的路径
    Ubuntu16.04 LTS上安装Go1.10
    ubuntu 常见错误--Could not get lock /var/lib/dpkg/lock 问题修改
    VS2015编译OpenSSL
  • 原文地址:https://www.cnblogs.com/july-sunny/p/11774539.html
Copyright © 2011-2022 走看看