zoukankan      html  css  js  c++  java
  • centos6.5之Hadoop1.2.1完全分布式部署安装

    0. 说明

    系统中首先要安装好jdk环境。
    已经配置ssh免密码登录。
    设置好防火墙,或者关闭防火墙。

    如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把master配置好的软件即hadoop-1.2.1整个文件夹拷贝到其他slave机器的相同位置即可。

    1. 环境准备

    本次配置使用了两个节点:
    | IP地址 | 节点(主机)名|
    | - | |
    |192.168.8.219 | Master |
    |192.168.88.220 | Slave1 |

    需要在/etc/hosts中配置好主机信息等。

    vim /etc/hosts
    
    192.168.88.219 master
    192.168.88.220 slave1
    

    2. 配置参数(切换到hadoop-1.2.1/conf目录下)

    2.1 配置conf/hadoop-env.sh文件

    使用命令vi hadood-env.sh编辑此文件并取消注释的JAVA HOME,然后配上我们自己的的JDK路径。

    export JAVA_HOME=/home/jay/jdk1.7.0_25
    

    2.2 配置/conf/core-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    
    <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    </property>
    
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/jaydisk/hadoopData/tmp</value>
    </property>
    
    </configuration>
    
    

    fs.default.name是NameNode的URI。hdfs://主机名:端口 。
    hadoop.tmp.dir是Hadoop的默认临时路径。

    2.3 配置/conf/mapred-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    
    <property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
    </property>
    
    </configuration>
    

    mapred.job.tracker是JobTracker的主机(或者IP)和端口。主机:端口。

    2.4 配置/conf/hdfs-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    <description>Hadoop数据备份数量,不能超过集群总机数。一般配置为slave节点数</description>
    </property>
    
    <property>
    <name>dfs.name.dir</name>
    <value>/jaydisk/hadoopData/name</value>
    <description>namenode上存储hdfs名字空间元数据</description>
    </property>
    
    <property>
    <name>dfs.data.dir</name>
    <value>/jaydisk/hadoopData/data</value>
    <description>datanode上数据块的物理存储位置</description>
    </property>
    
    </configuration>
    

    dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。
    dfs.replication是数据需要备份的数量,默认是3,如果此数大于集群的机器数会出错。
    此处的name1和data1等目录不能提前创建,如果提前创建会出问题。

    2.5 配置master和slaves主从节点

    配置conf/masters和conf/slaves来设置主从结点,注意最好使用主机名,并且保证机器之间通过主机名可以互相访问,每个主机名一行。
    配置conf/masters:

    $ vim masters
    
    192.168.88.219 master
    

    配置conf/slaves:

    $ vim slaves
    
    192.168.88.220 slave1
    

    2.6 将配置拷到slave主机

    master主机配置结束,把配置好的hadoop文件夹拷贝到slave主机中。

    scp -r /jaydisk/hadoop-1.2.1/ jay@slave1:/jaydisk/
    

    如果目标主机的java安装路径不一样,需要修改conf/hadoop-env.sh。

    3. 格式化一个新的分布式文件系统

    在master主机上操作(已经把Hadoop/bin目录加入到了环境变量中):

    hadoop namenode -format #格式化文件系统
    

    4. 启动所有节点

    在master主机上操作

    start-all.sh
    

    5. 查看集群的状态

    5.1 命令行测试

    在master主机上操作

    hadoop dfsadmin -report
    

    5.2 使用jps命令查看各个进程

    在master主机上操作
    检查守护进程是否正在运行,可以使用 jps 命令(这是用于JVM 进程的ps实用程序)。这个命令列出 4 个守护进程及其进程标识符。

    [jay@master conf]$ jps
    11462 NameNode
    11699 SecondaryNameNode
    11906 JobTracker
    15718 Jps
    

    5.3浏览器查看

    浏览NameNode和JobTracker的网络接口,它们的地址默认为:

    NameNode - http://192.168.88.219:50070/

    JobTracker - http://192.168.88.219:50030/

    如果都可以正常访问,则集群部署 成功。

  • 相关阅读:
    POJ_3104_Drying_(二分,最小化最大值)
    POJ_3273_Monthly_Expense_(二分,最小化最大值)
    POJ_3185_The_Water_Bowls_(反转)
    POJ_2566_Bound_Found_(尺取法+前缀和)
    POJ_3061_Subsequence_(尺取法)
    POJ_3258_River_Hopscotch_[NOIP2015]_(二分,最大化最小值)
    POJ_1064_Cable_master_(二分,假定一个解并判断是否可行)
    POJ_2456_Agressive_cows_(二分,最大化最小值)
    背包九讲之三(多重背包)
    背包九讲之二(完全背包)
  • 原文地址:https://www.cnblogs.com/fefjay/p/6044451.html
Copyright © 2011-2022 走看看