RedHat9.0下搭建Hadoop引擎 邹

1、安装操作系统

  ·安装虚拟机VMware，并在VM上安装RedHat9.0虚拟操作系统
3、安装JDK1.6

  ·下载JDK：jdk-6u32-linux-i586-rpm.bin   存放到/tmp下，
  ·安装JDK：./jdk-6u32-linux-i586-rpm.bin 执行后，会在/usr下生成java目录
  ·设置环境变量：vi /etc/profile

　#JDK环境变量，设置后，可以通过java -version命令检测是否成功
   export JAVA_HOME=/usr/java/jdk1.6.0_32
   export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$PATH:/sbin

　#Hadoop环境变量（后续会用到），设置后，可以随处使用Hadoop命令
   export HADOOP_HOME=/home/hadoop/hadoopinstall/hadoop-0.20.2
   export PATH=$HADOOP_HOME/bin:$PATH

　#注意：以上两行配置放在下面这行默认配置的前面
   export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC

4、准备工作：

　·copy已经装好的RedHat9虚拟操作系统文件，一台做主机master、一台做从机slave1

   ·修改MAC地址：系统设置->网络->编辑->硬件设备->探测

　·配置IP地址：主机master：192.168.42.244；从机slave1：192.168.42.246

   ·修改主机名：

　　主机master：vi /etc/hosts

　　　　192.168.42.244 master master

　　　　192.168.42.246 slave1 slave1

     从机slave1：vi /etc/hosts

　　　　192.168.42.246 slave1 slave1

　　　　192.168.42.244 master master

   ·创建用户：创建完后会在/home下生成/hadoop目录

      主机master：hadoop/123456

　　从机slave1：hadoop/123456

　·测试配置：

　　主机master： ping slave1

　　从机slave1：ping master

5、安装Hadoop

   ·下载：hadoop-0.20.2.tar.gz 存放到/home/hadoop/hadoopinstall下

　·配置：解压 tar -zxvf hadoop-0.20.2.tar.gz 生成hadoop-0.20.2文件夹

　·配置文件：/home/hadoop/hadoopinstall/hadoop-0.20.2/conf 6个文件

   ·配置完后：将整个hadoopinstall文件夹 通过scp命令 copy到slave1的/home/hadoop/目录下

core-site.xml，hdfs-site.xml，mapred-site.xml，masters，slaves， hadoop-env.sh六个文件 详细配置如下

6、测试Hadoop环境

通过root用户登入master主机；

hadoop name -format 格式化

start-all.sh启动所有服务：

启动时 会提示 多次输入 master root用户密码 或者 slave1用户密码，

因此要进行SSH无密码验证设置，可以上网找找相关设置；

root用户登陆到master

执行：ssh-keygen  -t  rsa 然后一路回车

会在/root/.ssh里生成两个文件 id_rsa.pub，id_rsa

 cp id_rsa.pub  authorized_keys

scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/ 复制到slave1机器

完后，在启动或者停止hadoop时就不用多次输入密码了！

主机master：输入jps命令 会看到启动的服务：namenode、jobTracker、secondnamenode

从机slave1：输入jps命令 会看到启动的服务：datanode、taskTracker

stop-all.sh停止所有服务：

http://192.168.42.244:50070/ 会看到 有一个活动的node节点

http://192.168.42.244:50030/

输入hadoop相关操作文件的命令

hadoop fs -put /home/hadoop/hadoopintall/hadoop-0.20.2.tar.gz test.jar //讲hadoop 压缩包 存储到HDFS文件系统里

 参考连接：

http://www.kuqin.com/system-analysis/20081023/24034.html

http://www.iteye.com/topic/365168

http://galpha.iteye.com/blog/1044355

http://hi.baidu.com/yuweiming/blog/item/6bf4242db074c420359bf744.html

radhat UI界面加载不了

http://www.5dlinux.com/article/1/2007/linux_10238.html