hadoop 部署和调优

一、集群安装

     1.在所有的机器上建立相同的用户名，如：hadoop。

                $adduser hadoop

                $passwd hadoop

2.在/etc/hosts中添加机器名和IP

              hadoop@hadoop23:~/hadoop/hadoop-1.2.1/conf$ cat /etc/hosts

127.0.0.1       localhost

#127.0.1.1      hadoop23

 

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

 

192.168.4.22     hadoop22

192.168.4.23     hadoop23

3.  在所有机器上安装ssh，然后相互分发，让整个集群都免密码登录。

   安装openssh-server：

         $sudo apt-get install openssh-server

   $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

                 将公钥拷贝到集群中其他的机器

    scp  ~/.ssh/id_dsa   hadoop23@192.168.4.23:/home/hadoop/ 

               关闭防火墙

   service iptables stop

4.安装JDK，设置JAVA_HOME环境变量

                 建议安装64位的JDK.

                 设置JAVA_HOME

                $vi  /etc/profile 

    export  JAVA_HOME=/home/hadoop/jdk

   Export PATH=$PATH:$JAVA_HOME 

   $source /etc/profile

5.安装HADOOP ,设置HADOOP_HOME环境变量

解压：$ tar –zvxf   hadoop-1.2.1.tar.gz 

设置HADOOP_HOME

vi /etc/profile

Export HADOOP_HOME=/home/hadoop/hadoop-1.2.1

Export PATH=$PATH:$HADOOP_HOME

Source /etc/profile

            每一台机器上都走完以上的步骤之后，执行下面。

6.NameNode 格式化

      $hadoop  namenode -format 

7.启动集群

$start-all.sh

                    查看集群是否起来：jps 会在master 节点上看到namenode ,JobTraker ,secondNameNode 进程；在slave节点上看到datanode ,TaskTraker 进程。

 

二、配置

       Core-site.xml

<configuration>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/data</value>

                <description>A base for other temporary directories.</description>

        </property>

<!-- file system properties -->

        <property>

        <name>fs.default.name</name>

                <value>hdfs://192.168.4.23:9999</value>

        </property>

</configuration>

Mapred-site.xml

<configuration>

        <property>

                <name>mapred.job.tracker</name>

                <value>192.168.4.23:9001</value>

        </property>

        <property>

  <name>mapred.child.java.opts</name>

  <value>-Xmx2048m</value>

</property>

<property>

  <name>mapred.tasktracker.map.tasks.maximum</name>

  <value>3</value>

  <description>The maximum number of map tasks that will be run

  simultaneously by a task tracker.

  </description>

</property>

<property>

  <name>mapred.tasktracker.reduce.tasks.maximum</name>

  <value>1</value>

  <description>The maximum number of reduce tasks that will be run

  simultaneously by a task tracker.

  </description>

</property>

<property>

  <name>mapred.jobtracker.taskScheduler</name>

  <!--<value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>-->

  <value>org.apache.hadoop.mapred.FairScheduler</value>

  <description>The class responsible for scheduling the tasks.</description>

</property>

<property>

  <name>mapreduce.map.output.compress</name>

  <value>true</value>

</property>

<property>

  <name>mapred.child.env</name>

  <value>JAVA_LIBRARY_PATH=/home/hadoop/hadoop/lib/native/Linux-amd64-64</value>

</property>

<property>

  <name>mapreduce.map.output.compress.codec</name>

  <value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

<property>

  <name>mapred.map.tasks.speculative.execution</name>

  <value>false</value>

</property>

<property>

<name>mapred.task.timeout</name> 

<value>6000000</value>

<description>The number of milliseconds before a task will be terminated if it neither reads an input, writes an output, nor updates its status string.

</description>

</property>

</configuration>

Hdfs-site.xm

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>2</value>

        </property>

</configuration>

 

 

三、集群优化

mapred.task.timeout    6000000

fs.checkpoint.period 默认（3600秒），如果HDFS存取的次数频繁，可以减小该值。

fs.checkpoint.size  editlog 超过该值时会触发二级命名节点,默认64G

io.file.buffer.size 默认4096 SequenceFile 的buffer size，大型系统建议65536 到 131072

ipc.client.connection.maxidletime  HFDS Clinet 最大连接个数。

 

fs.trash.interval 清掉垃圾箱的时间

hadoop.native.lib  native libraries 并自动 load 进來使用，例如压缩类的 libraries 像 GZIP, LZO 等等。

 

dfs.block.size 

 

dfs.safemode.threshold.pct 只有当99.9% 的 blocks 达到最小的 dfs.replication.min 数量(默认是3)才会离开safe mode.在 dfs.replication.min 设的比较大或 data nodes 数量比较多时会等比较久。 

Dfs.namenode.handler.count  默认值 10

设定 namenode server threads 的数量，这些 threads 會用 RPC 跟其他的 datanodes 沟通。当 datanodes 数量太多时会发現很容易出現 RPC timeout，解決方法是提升网络速度或提高这个值，但要注意的是 thread 数量多也表示 namenode 消耗的内存也随着增加

 

dfs.datanode.handler.count默认3  datanode 的线程

dfs.datanode.max.xcievers    默认256  datanode默认的可以处理的最大文件数量

 

dfs.datanode.du.reserved 默认是0

默认值表示 data nodes 会使用整个磁盘，写满之后会导致无法再写入 M/R jobs。如果还有其他程式共用这些目录也会受到影响。建议保留至少 1073741824(1G) 的空间。

 

Io.sort.mb  默认100M   map中间结果的buffer

Io.sort.record.percent 默认0.05  io.sort.mb中用来保存map output记录边界的百分比，其他缓存用来保存数据。

 

Io.sort.spill.percent  map开始做spill的阈值

Io.sort.factor  做merge操作时同时操作stream的上限。

Min.num.spill.for.combine 合并函数运行的最小spill数

Mapred.reduce.parallel.copies 默认5  每个reduce并行下载map结果的最大线程数 

 

Mapred.reduce.copy.backoff  reduce下载线程最大等待时间（in sec）

Mapred.job.shuffle.input.buffer.percent  默认0.7  用来缓存shuffle数据的reduce task heap百分比

Mapred.job.shuffle.merge.percent  默认0.66 缓存的内存中多少百分比后开始做merge 操作。

Mapred.job.reduce.input.buffer.percent  sort完成后reduce计算阶段用来缓存数据的百分比 

Mapred.map.tasks  每一个Job的map数量，尽量和机器数匹配。默认是数据分块大小。

Mapred.reduce.tasks 每个Job ,reduce 的数量，尽量和机器数匹配。

 四、Job调优

Mapred.child.java.opts  一般不要太大，不要超过2G，如果超过，需要改进程序。

Mapred.min.split.size 这个配置项决定了每个 Input Split的最小值，也间接决定了一个Job的map 数目。

Io.sort.mb  不要太大，如果设置成1G,很明显要排序会很费劲，如果设置小点，如30M,则会很快。

io.sort.spill.percent

这个值就是上述buffer的阈值，默认是0.8，既80%，当buffer中的数据达到这个阈值，后台线程会起来对buffer中已有的数据进行 排序，然后写入磁盘，此时map输出的数据继续往剩余的20% buffer写数据，如果buffer的剩余20%写满，排序还没结束，map task被block等待。

Io.sort.factor

同时打开的文件句柄的数量，默认是10

当 一个map task执行完之后，本地磁盘上(mapred.local.dir)有若干个spill文件，map task最后做的一件事就是执行merge sort，把这些spill文件合成一个文件（partition），有时候我们会自定义partition函数，就是在这个时候被调用的。

执行merge sort的时候，每次同时打开多少个spill文件，就是由io.sort.factor决定的。打开的文件越多，不一定merge sort就越快，所以也要根据数据情况适当的调整。

补充：merge排序的结果是两个文件，一个是index，另一个是数据文件，index文件记录了每个不同的key在数据文件中的偏移量（这就是partition）

mapred.reduce.parallel.copies

Reduce到每个完成的Map Task copy数据（通过RPC调用），默认同时启动5个线程到map节点取数据。这个配置还是很关键的，如果你的map输出数据很大，有时候会发现map早就 100%了，reduce一直在1% 2%。。。。。。缓慢的变化，那就是copy数据太慢了，5个线程copy 10G的数据，确实会很慢，这时就要调整这个参数了，但是调整的太大，又会事半功倍，容易造成集群拥堵，所以 Job tuning的同时，也是个权衡的过程，你要熟悉你的数据！

mapred.job.shuffle.input.buffer.percent

当 指定了JVM的堆内存最大值以后，上面这个配置项就是Reduce用来存放从Map节点取过来的数据所用的内存占堆内存的比例，默认是0.7，既 70%，通常这个比例是够了，但是我们讨论的还是大数据的情况，所以这个比例还是小了一些，0.8-0.9之间比较合适。（前提是你的reduce函数不 会疯狂的吃掉内存）

mapred.job.shuffle.merge.percent(默认值0.66)

mapred.inmem.merge.threshold(默认值1000)

这是两个阈值的配置项，第一个指的从Map节点取数据过来，放到内存，当达到这个阈值之后，后台启动线程（通常是Linux native process）把内存中的数据merge sort，写到reduce节点的本地磁盘；

第二个指的是从map节点取过来的文件个数，当达到这个个数之后，也进行merger sort，然后写到reduce节点的本地磁盘；这两个配置项第一个优先判断，其次才判断第二个thresh-hold。

从 实际经验来看，mapred.job.shuffle.merge.percent默认值确实太小了，完全可以设置到0.8左右；第二个默认值 1000，完全取决于map输出数据的大小，如果map输出的数据很大，默认值1000反倒不好，应该小一些，如果map输出的数据不大（light weight），可以设置2000或者以上，都没问题。