zoukankan      html  css  js  c++  java
  • ubuntu 下安装伪分布式 hadoop

    安装准备:

    (1)hadoop安装包:hadoop-1.2.1.tar.gz
    (2)jdk安装包:jdk-7u60-linux-i586.gz
    (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包。

    安装:

    (1)能够选择一个新建用户安装 也能够使用眼下账户。
    (2)规定 所属用户组:

    (3) 给予用户hadoop权限:
    sudo vim /etc/sudoers 改动加入:
     说到vim ubuntu本身自带的是vim tiny 不可用 须要使用的是vim full版本号 须要下载安装:
    sudo apt-get  remove vim-common
    sudo apt-get install vim
    vim 本身的一些配置可依据自己的喜好进行设置。
    (4) 安装 jdk:
    依据自己须要选择安装路径、
    sudo mkdir /usr/java
    tar -zxvf jdk-7u60-linux-i586.gz
    mv jdk-1.7.0 jdk(改动名字 能够不设置(最好))
    删除安装包:
    (5)  配置jdk环境:
    sudo vim /etc/profile 加入

    更新一下(必须):source /etc/profile
    測试一下:

    jdk 完毕。
    (6) ssh 免password:
    一般ssh-client 包括在ubuntu系统中,可是ssh-server并没有 安装,能够通过 ssh ip 測试下;
    安装ssh-server: sudo apt-get install ssh
    安装之后进行操作:

    生成:






    ssh 能够登录。

    (7) 安装hadoop
    能够先创建一个hadoop到目录:
    sudo mkdir /usr/hadoop
    cd /usr/hadoop/
    sudo tar -zxvf hadoop-1.2.1.tar.gz
    sudo mv hadoop-1.2.1 hadoop
    sudo chown -R hadoop:hadoop hadoop 将目录hadoop 读权限赋予hadoop用户
    sudo rm -rf hadoop-1.2.1.tar.gz
    安装之后须要进行配置:
    配置 /etc/profile 加入:
    sudo vim /etc/profile

    配置hadoop-env.sh文件:
    sudo vim /usr/hadoop/conf/hadoop-env.sh:


    建立一个目录:用于配置hadoop.tmp.dir參数:
    sudo mkdir /usr/hadoop/tmp

    配置核心文件:
    core-site.xml:


    hdfs-site.xml:


    mapred-site.xml:


    启动:因为前面配置 输入:
    格式化节点:
    hadoop namenode -format
    启动:start-all.sh
    jps 查看

    停止:stop-all.sh 

    (8)安装eclipse
    同上 先创建一个目录 解压安装....

    进去启动eclipse 遇到个小问题:
          eclipse找不到jdk 或是jre
    解决:
    cd /home/hadoop/eclipse (安装eclipse)
    sudo ln -sf $JRE_HOME jre
    就是这个:

    进行eclipse 配置hadoop 将相关连的插件 拷贝到 eclipse下到plugins目录里面:


    启动 eclipse:
     window->perferences:

    hadoop的安装文件夹。

    设置:
    右键以下的空白区域:

    出现:并配置





    点开左側小象:

    eclipse配置完毕。


    以后能够在eclipse书写作业  然后到终端进行运行。

    配置遇到的问题:
    namenode datanode 没有起来:
    解决例如以下:
    (1)删除 /usr/hadoop/tmp
    (2)在创建 : sudo mkdir /usr/hadoop/tmp
    (3)删除 /tmp目录下 全部以hadoop开头的文件:
    sudo rm -rf /tmp/hadoop*
    (4)又一次格式化:
    hadoop namenode -format
    (5)启动 
    start-all.sh

  • 相关阅读:
    字符数组,字符指针,字符串常量以及其sizeof的一些总结
    Linux——makefile
    动态定义多维数组
    二叉树的前序、中序、后序遍历(非递归)
    构造函数、析构函数抛出异常的问题
    倒排索引
    宏定义
    sizeof && strlen
    搜索引擎技术原理
    最小生成树
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/5232506.html
Copyright © 2011-2022 走看看