hadoop之安装

1.hadoop的伪分布安装(采用Host-only模式)

　　1.1 设置ip地址

 　  　　1.1.1设置宿主机的VirtualBox Host-only Network网路设置

  　　    　　  IP地址：192.168.56.1

  　　　　　　子网掩码：255.255.255.0

  　　　　　　默认网关：不填

 　　1.1.2设置VirtualBox虚拟机的网路连接

  　　　　网卡1：启用网路连接

  　　　　连接方式：仅主机(Host-Only)适配器

  　　　　高级：保持默认

 　　1.1.3启动linux系统，（使用centos6.4），以root用户登录

  　　　　设置IP地址IPv4 Settings

  　　　　Method:Manual

  　　　　Address:192.168.56.100(必须与宿主机在同一网段)

  　　　　Netmask:255.255.255.0

  　　　　Gateway:192.168.56.1(此处必须与宿主机的VirtualBox Ip地址一样)

  　　　　执行命令 service network restart

  　　　　验证: ifconfig

  　　　　测试：宿主机可ping通linux,linux不可以ping通宿主机(Host-Only的安全机制)

　　  1.2 关闭防火墙 

 　　　　执行命令 service iptables stop

 　　　　验证： service iptables status

　　1.3 关闭防火墙的自动运行

 　　　　执行命令 chkconfig iptables off

 　　　　验证 chkconfig --list | grep iptables

　　1.4 设置主机名

 　　　　(1)hostname hadoop

 　　　　(2)vi /etc/sysconfig/network

 　　　　　　 修改HOSTNAME=hadoop

 　　　　(3)重启 reboot -h now 发现hostname已经改变

　　1.5 ip与hostname绑定

 　　　　 执行命令：vi /etc/hosts

  　　　　增加一行：192.168.56.100 hadoop

 　　　　 验证：ping hadoop

　　1.6 设置ssh免密码登录

 　　　　执行命令 (1)ssh-keygen -t rsa

 　　　　(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

 　　　　验证：ssh hadoop 和ssh localhost

 　　　　再次ssh hadoop将不用再使用密码

///////////////////linux设置完毕/////////////////////////////////////

　　1.7 安装jdk

 　　　　执行命令：

 　　　　(1)cd /usr/local 安装包在此目录下

 　　　　(2)rm -rf /usr/local/* 删除此目录下所有文件，没有用

 　　　　(3)chmod u+x jdk-6u24-linux-i586.bin

　　　　 (4)./jdk-6u24-linux-i586.bin

　　　　 (5)mv jdk1.6.0_24  jdk

 　　　　(6)vi /etc/profile 增加内容如下:

  　　　　　　export JAVA_HOME=/usr/local/jdk

  　　　　　　export PATH=.:$JAVA_HOME/bin:$PATH

 　　　　(7)source /etc/profile

 　　　　(8)验证 java -version 

　　1.8 安装hadoop

 　　　　(1)tar -zxvf hadoop-1.1.2.tar.gz

 　　　　(2)mv hadoop-1.1.2 hadoop

 　　　　(3)vi /etc/profile 增加内容如下:

 　　　　　　 export JAVA_HOME=/usr/local/jdk

 　　　　　　 export HADOOP_HOME=/usr/local/hadoop

　　　　　　  export HADOOP_HOME_WARN_SUPPRESS=1  #去除警告

　　　　　　  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

　　　　 (4)source /etc/profile

　　　　 (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

  　　　　注意主机名的更换

  5-1：hadoop-env.sh

   export JAVA_HOME=/usr/local/jdk #第9行

  5-2：core-site.xml

   <configuration>

    <property>

            <name>fs.default.name</name>

            <value>hdfs://hadoop:9000</value>

        </property>

        <property>

            <name>hadoop.tmp.dir</name>

            <value>/usr/local/hadoop/tmp</value>

        </property>

   </configuration>

  5-3：hdfs-site.xml

   <configuration>

        <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

        <property>

            <name>dfs.permissions</name>

            <value>false</value>

        </property>

   </configuration>

  5-4：mapred-site.xml

   <configuration>

        <property>

            <name>mapred.job.tracker</name>

            <value>hadoop:9001</value>

        </property>

   </configuration>

 (6)hadoop namenode -format

 (7)start-all.sh #启动hadoop

 验证：jps 五个java进程

 namenode,secondarynamenode,jobtracker,datanode,tasktracker

1.9 启动时没有NameNode的可能原因:

 (1)没有格式化

 (2)环境变量设置错误

 (3)ip与hostname绑定失败

1.10 web

 hadoop:50070 hdfs界面

 hadoop:50030 jobtracker M-R界面

1.11 hadoop dfs -mkdir /user/root

     hadoop dfs -ls 默认查找/user/root目录，若没有提示no such directory

-------------------------伪分布模式安装完毕---------------------------------------------------------