Hadoop环境搭建
一、安装虚拟机:VMware Workstation 9
二、新建虚拟机,安装CentOS 6.8 64-bit系统,用户信息全部设置为“hadoop”(包括密码,用户名等等),网络信息选择NAT
三、修改主机名,vim /etc/sysconfig/network,HOSTNAME=master
四、修改hosts文件,vim /etc/hosts,192.168.1.101 master,换行,输入:192.168.1.102
slave(为之后节点做准备)
五、配置静态IP地址,打开网络共享中心,修改VMnet8的IPv4地址,IP:192.168.1.1
子网掩码:255.255.255.0默认网关:192.168.1.2,打开VMware,选择Edit,打开Visual
Network Edit,将VMnet8的Subnet IP修改为:192.168.1.0
子网掩码:255.255.255.0,打开NAT settings,其默认网关应与网络共享中心VMnet8所手动设置的网关一致,为:192.168.1.2,来到Linux桌面,右键左上方的小电脑,Edit
Connections,来到IPv4 Settings,选择Manual,IP:192.168.1.101
子网掩码:255.255.255.0
默认网关:192.168.1.2 DNS服务器:8.8.8.8,打开Linux命令行,输入:service
network restart,重启网络,完成
六、安装jdk,打开SecureCRT,登录192.168.1.101,按alt+p,来到sftp窗口,将jdk拖放到sftp界面,完成拷贝,建立文件夹:mkdir
-p /home/hadoop/app,运行tar -zxvf jdk-8u73-linux-x64.tar.gz -C /home/hadoop/app,安装完jdk,配置环境变量,vim
/etc/profile,在最后起一行,export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73,export PATH=$PATH:$JAVA_HOME/bin,保存,source
/etc/profile,验证jdk是否安装成功,java -version
七、安装hadoop,将安装包上传到Linux系统,执行tar -zxvf hadoop-2.6.1.tar.gz -C /home/hadoop,配置环境变量,vim
/etc/profile,末尾追加:export HADOOP_HOME=/home/hadoop/hadoop-2.6.1,修改PATH变量,追加为export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin,保存,source /etc/profile,来到hadoop的etc目录,cd
/home/hadoop/hadoop-2.6.1/etc/hadoop,vim hadoop-env.sh,在第二十七行追加环境变量,export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73,export
HADOOP_HOME=/home/hadoop/hadoop-2.6.1,保存,格式化namenode,hadoop namenode -format,如有提示输入yes,完成格式化
八、复制虚拟机,打开VMware,右键master-->manage-->Clone,选择linked clone,取名为slave,完成虚拟机复制,启动slave,右键桌面上右上角小电脑,Edit
Connections,选择eth1,修改Connection name为slave,来到IPv4,选择Manual,Address:192.168.1.102,Netmask:255.255.255.0,Gateway:192.168.1.2,DNS服务器:8.8.8.8,保存,打开命令行,输入:service
network restart,vim /etc/sysconfig/network,HOSTNAME=slave,完成配置
九、设置主节点SSH免密,打开master节点-->root@master ~,输入:ssh-keygen
-t rsa,遇到提示直接回车,生成两个密钥,存在于:~/.ssh目录下,ls -a可以查看,输入:scp
/root/.ssh/id_rsa.pub slave:/root/,输入密码完成拷贝,切换到slave节点,输入cat /root/id_rsa.pub >authorized_keys,cd
/root/.ssh,输入:chmod 600 authorized_keys,返回master节点,cat
/root/.ssh/id_rsa.pub >authorized_keys,输入chmod 600 authorized_keys,完成,这样,主节点登录slave节点,主节点登录自己,都不需要密码了,从主节点启动hadoop,也不需要输入密码了。
十、启动hadoop,进入master主节点,start-all.sh,会提示start-all.sh
is deprecated(过时),不必理会,直到启动完成,启动完成后,输入:jps,master节点会出现Jps,NameNode,SecondaryNameNode,ResourceManager,进入slave,输入jps,会出现,DataNode,NodeManager,Jps,到此,hadoop的环境就搭建完成啦,欢迎大家评论,反馈,只为为你们提供更好的文章。