zoukankan      html  css  js  c++  java
  • Hadoop1.0.4单机伪分布式环境搭建

    1.搭建环境

      ubuntu-12.04.1-desktop-i386.iso

      java jdk6  

      hadoop-1.0.4

    2.jdk的安装与配置

      下载 jdk 6 下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html

      创建安装目录 /usr/java

      

      将下载的jdk复制到该目录下

      

      进入usr/java 目录下 首先改变该文件的权限

      

      然后执行自解压命令:sudo ./jdk-6u43-linux-i586.bin

      配置java环境变量:进入/etc/profile

      

      在文件尾添加如下内容:

      export JAVA_HOME=/usr/java/jdk1.6.0_43

      export PATH=$JAVA_HOME/bin:$PATH

      export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

      保存后运行 source /etc/profile 让配置文件生效 可以用 echo $PATH 和echo $CLASSPATH 看配置是否正确

      配置成功以后运行java -version 出现下图所示,java环境即配置成功

      

      至此java环境配置成功。

    3.hadoop安装及配置

      1.创建Hadoop用户及用户组

        sudo addgroup hadoop

        sudo adduser -ingroup hadoop hadoop

        

        java环境变量在hadoop用户下可能没有生效,用source /ect/profile 命令让配置文件生效即可

        给hadoop用户赋予root权限

          进入root下: su root

          修改 /etc/sudoers 在root ALL=(ALL:ALL) ALL下增加一行

          hadoop ALL=(ALL:ALL) ALL

      2.SSH安装配置

        从ubuntu的软件库中直接安装ssh

          sudo apt-get install ssh openssh-server

        生成密钥

          ssh-keygen

          

          进入密钥保存的目录

            cd ~/.ssh

          可以看到目录下有两个密钥文件 一个是私钥一个是公钥

            

          复制ssh的公钥

            cp id_rsa.pub authorized_keys

        配置完成后就可以用ssh 进行无密码登录,第一次登录的时候可能会出现如下提示:

           

           出现提示的时候输入yes即可 第二次登录就没有问题了

           

      3.hadoop安装配置

        下载hadoop-1.0.4.bin.tar.gz  http://mirrors.cnnic.cn/apache/hadoop/common/

        将其复制到/usr 目录下 并解压

          

          改变hadoop-1.0.4的使用权限

            sudo chown hadoop:hadoop hadoop-1.0.4

            

         进入hadoop-1.0.1/conf/目录下 编辑hadoop的配置文件

          首先配置hadoop-env.sh(记录脚本使用的环境变量)

            sudo gedit hadoop-env.sh 

            (用ssh locahost登录以后 好像用gedit编辑不了 用exit退出以后就可以编辑了)    

           配置core-site.xml(hadoop core的配置项)

             在configuration中加入

              <property>

                 <name>fs.default.name</name>//默认的文件系统,通过该端口可以访问hadoop的namenode

                 <value>hdfs://localhost:9000</value>

              </property>

              <property>

                 <name>hadoop.tmp.dir</name>//设置hadoop的临时目录,hdfs的临时目录存放在该临时目录下

                 <value>/opt/tmp/hadoop-${user.name}</value>

              </property>

           配置hdfs-site.xml(Hadoop守护进程的配置项)

            在configuration中加入

               <property>

                 <name>dfs.replication</name>//文件进行备份的份数

                 <value>1</value>

              </property>

           配置mapred-site.xml:(MapReduce守护进程的配置项)

            在configuration中加入

               <property>

                 <name>mapred.job.tracker</name>//指定jobtracker的RPC服务器地址和端口

                 <value>localhost:9001</value>

              </property>

              <property>

                 <name>mapred.child.tmp</name>//mapred运行时的临时目录

                 <value>/opt/tmp</value>

              </property>

        至此hadoop的安装配置完毕。

      4.hadoop的运行

        对namenode 进行格式化

         在格式化的时候出现了错误:    

            

        这是由于hadoop用户没有/opt 目录的操作权限造成的 改变/opt目录的权限再进行格式化即可 sudo chown hadoop:hadoop opt

          

      格式化以后即可启动hadoop

          

      用jps可以看到系统启动了如下进程

          

      启动的日志在/hadoop-1.0.4/logs/下 如果出错可以通过查看log来找出错误

      启动hadoop以后通过localhost:50030发现不能访问,查看日志 发现是如下错误:

         java.io.exception:could only be replicated to 0 nodes instead of 1;

         检查以后将/opt 下的tmp目录删除,重新格式化了一下namenode并关闭了防火墙 sudo ufw disabled 就可以了

      hadoop启动以后 就可以通过localhost:50030 访问jobtracker

        

        通过localhost:50070 访问namenode

        

          

        至此所有配置完毕。

        

          

         

            

             

        

        

        

  • 相关阅读:
    tensorflow打印输出张量以及tf.one_hot()函数简介
    Windows10下Jupyter Notebook 使用虚拟环境
    图解Windows10下如何更换Jupyter Notebook 内核Python版本(切换原始的python环境)
    听说你在找工作?这里有很多招聘信息~
    数据集难找?GAN生成你想要的数据!!!
    妈妈再也不担心我没壁纸了!
    你的爬虫ip又被封了?教你一招
    飞鸽内网穿透
    第九届全国生物信息学与系统生物学学术大会
    SAP UI5 Routing 路由介绍
  • 原文地址:https://www.cnblogs.com/sirhuoshan/p/3038654.html
Copyright © 2011-2022 走看看