64位Ubuntu14.04安装hadoop2.6.0

在前文中，编译hadoop 是我们几乎已经配置好了jdk环境

这一文是在上文的基础上继续配置

1、将编译好的源码中的一些文件复制到我们所下载的hadoop/lib/native下替换掉

主要是因为下载的hadoop文件是在32位系统下编译的，而本人的是64位系统

2、配置ssh无密码登陆

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

1. 创建ssh-key，，这里我们采用rsa方式;

ssh-keygen -t rsa -P ""

2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

cd ~/.ssh  
cat id_rsa.pub >> authorized_keys

3. 登录localhost;

ssh localhost

登陆后的信息如下：

Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

274 packages can be updated.
118 updates are security updates.

Last login: Mon Feb  2 09:54:04 2015 from master

4. 执行退出命令;

exit 

3、将hadoop文件夹复制到/usr/local/

4、配置环境变量

sudo gedit ~/.bashrc

在文件尾添加如下代码

export HADOOP_INSTALL=/usr/local/hadoop  
  
export PATH=$PATH:$HADOOP_INSTALL/bin  
  
export PATH=$PATH:$HADOOP_INSTALL/sbin  
  
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL  
  
export HADOOP_COMMON_HOME=$HADOOP_INSTALL  
  
export HADOOP_HDFS_HOME=$HADOOP_INSTALL  
  
export YARN_HOME=$HADOOP_INSTALL  
  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native  
  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"  

执行生效

source ~/.bashrc  

5、修改一下配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将JAVA_HOME改为/usr/local/eclipse

点击保存退出

6、测试

进入hadoop文件夹目录

执行

bin/hadoop namenode -format

然后新建一个输入目录，执行wordcount程序

mkdir input  
cp README.txt input

 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output  

执行 cat output/*，查看字符统计结果

问题

1.ssh中“Host key verification failed.“

/etc/ssh/ssh_config）中配置：

StrictHostKeyChecking no

将ask 改为 no

并取消注释