hadoop集群配置

引言

　　　　hadoop出来已经很久了，一直没有自己配置过、参考 http://blog.csdn.net/wangjia55/article/details/53160679 完成hadoop的配置，

　　再此记录。本次使用环境  ubuntu12.04 、 hadoop-2.7.5.tar.gz 

简介　

一、配置前准备工作

　　1.下载hadoop本次采用wget下载，也可以到 http://mirror.bit.edu.cn/apache/hadoop/common/   上面选择需要版本进行下载

　　　　 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 

　　2.解压文件

　　　　 tar -zxvf hadoop-2.7.5.tar.gz 

二、hadoop主节点 namenode 搭建

　　1.通过配置 hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml 文件完成,该文件在解压后目录 etc/hadoop ，本文不在此介绍详情作用

　　 core-site.xml  配置如下：

<configuration>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:/home/leesf/program/hadoop/tmp</value>
　　　　<description>Abase for other temporary directories.</description>
　　</property>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://localhost:9000</value>
　　</property>
</configuration>

 　　mapred-site.xml.template 配置如下：

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

　　 hdfs-site.xml 配置如下：

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
 </property>
</configuration>

三、配置完毕，启动namenode

　　 ./bin/hdfs namenode -format 完成服务启动