zoukankan      html  css  js  c++  java
  • 配置Hadoop1.2.1

    1.从Apache官网上下载1.2.1,地址:http://apache.dataguru.cn/hadoop/common/
    2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)
    3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun,解注并改成JAVA正确的路径
    4.修改core-site.xml。默认只有,需要修改成为:


    fs.default.name
    hdfs://master:9000


    hadoop.tmp.dir
    /home/master/hadoop-1.2.1/tmp


    注:要在hadoop下新建tmp文件夹,用于存放临时文件,如果不设置,hadoop默认成/tmp文件夹,这样重启后hadoop就会报错
    5.修改hdfs-site.xml.默认只有,需要修改成为:


    dfs.replication
    2



    6.修改mapred-site.xml.默认只有,需要修改成为:


    mapred.job.tracker
    master:9001



    7.修改masters,改成master(主机名)

    8.修改slaves,改成slave1(主机名)

    9.切换到root用户下,修改/etc/hosts文件,增加master和slave1的IP
    192.168.37.1    master
    192.168.37.2    slave1

    10.配置完成之后,ping master和ping slave1

    11.把master节点下配置好的hadoop复制到slave1节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1

    12.修改slave1节点下的/etc/hosts文件和master节点一致
    192.168.37.1    master
    192.168.37.2    slave1

    13.格式化名称节点,即master节点,切换到hadoop目录,执行命令:bin/hadoop namenode -format

    14.在正式启动hadoop之前,要把自己的公匙放到authorized_keys,这样自动连自己才会不用输入密码。方法是:
    cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。

    15.改完之后,ssh master,看看是否还需要密码

    16.如果之前已经运行过启动hadoop,但因为14没有做,需要把hadoop的进程杀掉,方法:进行JAVA主目录,
    运行./bin/jps命令,看有哪些hadoop的进程在运行,然后用kill -9 11133把屏幕显示的进程杀掉,这样才能顺利的启动。

    17.最后启动:bin/start-all.sh

    18.检查hadoop是否安装成功:在JDK目录下运行-bin/jps,出现
    11002 SecondaryNameNode
    10832 NameNode
    11076 JobTracker
    11237 Jps
    说明安装成功









     
     
  • 相关阅读:
    6-Python爬虫-分布式爬虫/Redis
    ES 查询时 排序报错(fielddata is disabled on text fileds by default ... )解决方法
    Intellij Idea webstorm 激活
    Intellij Idea 配置jdk
    java 获取(格式化)日期格式
    js 跳转 XSS漏洞 预防
    CSS去掉背景颜色
    js对象无法当成参数传递 解决方法
    Elasticsearch java api
    java多条件查询SQL语句拼接的小技巧
  • 原文地址:https://www.cnblogs.com/chen-lhx/p/6867109.html
Copyright © 2011-2022 走看看