zoukankan      html  css  js  c++  java
  • Hadoop单机环境搭建整体流程

     

    1.   Ubuntu环境安装和基本配置

     

    本例程中在MAC上安装使用的虚拟机Ubuntu系统(64位,desktop);

     

    基本配置

    考虑到以后涉及到hadoop的应用便于权限的管理,特别地创建一个hadoop用户,usergroup名称均为hadoop。首先创建hadoop用户组:

     

    sudo addgroup hadoop

     

    在刚才创建的分组中创建hadoop用户:

     

    sudo adduser –ingroup hadoop hadoop

     

     

    创建用户的时候会提示输入密码,以及全名,房间号码等信息。然后,为hadoop用户添加权限,编辑/etc/sudoers文件,注意,在ubuntu下编辑此文件时必须要使用命令(直接使用vim可能导致不能正常保存或系统崩溃):

    sudo visudo –f /etc/sudoers

     

     

    默认使用的时nano编辑器打开,在root下添加一行将使得hadoop用户也具有管理员权限。



     

     

    创建用户完成后,安装ssh服务openssh-server,使得外部系统可以通过ssh命令直接进行操作。

     

    java环境安装

    运行hadoop要求必须要有一个java环境,这里直接通过下面的方式进行安装。

     

    sudo apt-get install openjdk-7-jdk

      

    安装完成后,配置环境变量JAVA_HOME,普通方式我们无法直接看到java安装的地址,这是因为java安装完成后都是通过link文件的方式放到/usr/bin/javac中,可以通过下图的手段看到java的安装地址:



     

     

    设置环境变量有几种方式,本shell中直接export,只能影响当前shell窗口;本用户目录下的~/.bashrc文件,只会影响本用户;编辑/etc/profile文件则会对所有用户都起作用,这里我们使用第三种方式在文件的最后面加入以下的export语句:



     

     

    保存退出后并不能起作用,必须要使用source命令手动刷新:



     

     

     

    2.   安装和配置Hadoop

    本例程中我们使用的是hadoop相对稳定的一个版本2.2.0进行配置(在服务器中下载http://mirror.bit.edu.cn/apache/hadoop/common/stable/)。

     

    hadoop解压到~/Public/hadoop文件夹下。

     

    编辑文件hadoop/etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME,如果前一步骤中已经设置,这部分也可以跳过。



     

     

    编辑文件hadoop/etc/hadoop/core-site.xml文件:



     

     

    注意,在设置hadoop.tmp.dir后,其中的/home/hadoop/Public/hadoop/tmp必须存在,需要手动去mkdir,否则后面会报错。

     

    编辑hadoop/etc/hadoop/mapred-site.xml文件:



     

     

    编辑hadoop/etc/hadoop/hdfs-site.xml文件:



     

     

    3.   启动Hadoop

    在配置完成之后,开始启动hadoop

     

    在初次运行hadoop时,需要初始化hadoop文件系统,在hadoop/bin目录下执行下面的命令:

    ./hdfs namenode –format

      

    执行完成后,如果成功,会在日志看到以下的内容:



     

     

    然后,在hadoop/sbin目录下运行命令:

    ./start-dfs.sh

      

    若停止hadoop,依次运行如下命令:

    ./stop-yarn.sh
    ./stop-dfs.sh

     

     

    但整个过程下来,我们发现还是出现错误...,这是因为hadoop编译的库使用的是32位的,而我们的Ubuntu Server使用的是64位,经过查证,需要重新进行编译……哭,下一章中我们将会进行hadoop环境的编译安装。

     

    Hadoop 2.2.0 - warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.

     

  • 相关阅读:
    from表单提交数组数据
    由于被认为是客户端对错误(例如:畸形的请求语法、无效的请求信息帧或者虚拟的请求路由),服务器无法或不会处理当前请求。
    form表单提交的几种方式
    DuplicateMappingException: Table [xx] contains physical column name referred to by multiple ... .
    oracle之报错:ORA-00054: 资源正忙,要求指定 NOWAIT
    json对象与json字符串的转换
    免费的maven的archetype-catalog.xml文件下载
    SpringBoot集成Hibernate
    log4j.properties的配置信息
    service里无法注入mapper,mapper空指针
  • 原文地址:https://www.cnblogs.com/mmaa/p/5789932.html
Copyright © 2011-2022 走看看