zoukankan      html  css  js  c++  java
  • hadoop环境搭建

    Hadoop环境搭建

    一、安装虚拟机:VMware Workstation 9

    二、新建虚拟机,安装CentOS 6.8 64-bit系统,用户信息全部设置为“hadoop”(包括密码,用户名等等),网络信息选择NAT

    三、修改主机名,vim /etc/sysconfig/networkHOSTNAME=master

    四、修改hosts文件,vim /etc/hosts192.168.1.101 master,换行,输入:192.168.1.102 slave(为之后节点做准备)

    五、配置静态IP地址,打开网络共享中心,修改VMnet8IPv4地址,IP192.168.1.1 子网掩码:255.255.255.0默认网关:192.168.1.2,打开VMware,选择Edit,打开Visual Network Edit,将VMnet8Subnet IP修改为:192.168.1.0 子网掩码:255.255.255.0,打开NAT settings,其默认网关应与网络共享中心VMnet8所手动设置的网关一致,为:192.168.1.2,来到Linux桌面,右键左上方的小电脑,Edit Connections,来到IPv4 Settings,选择ManualIP192.168.1.101 子网掩码:255.255.255.0 默认网关:192.168.1.2 DNS服务器:8.8.8.8,打开Linux命令行,输入:service network restart,重启网络,完成

    六、安装jdk,打开SecureCRT,登录192.168.1.101,按alt+p,来到sftp窗口,将jdk拖放到sftp界面,完成拷贝,建立文件夹:mkdir -p /home/hadoop/app,运行tar -zxvf jdk-8u73-linux-x64.tar.gz -C /home/hadoop/app,安装完jdk,配置环境变量,vim /etc/profile,在最后起一行,export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73export PATH=$PATH:$JAVA_HOME/bin,保存,source /etc/profile,验证jdk是否安装成功,java -version

    七、安装hadoop,将安装包上传到Linux系统,执行tar -zxvf hadoop-2.6.1.tar.gz -C /home/hadoop,配置环境变量,vim /etc/profile,末尾追加:export HADOOP_HOME=/home/hadoop/hadoop-2.6.1,修改PATH变量,追加为export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin,保存,source /etc/profile,来到hadoopetc目录,cd /home/hadoop/hadoop-2.6.1/etc/hadoopvim hadoop-env.sh,在第二十七行追加环境变量,export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73export HADOOP_HOME=/home/hadoop/hadoop-2.6.1,保存,格式化namenodehadoop namenode -format,如有提示输入yes,完成格式化

    八、复制虚拟机,打开VMware,右键master-->manage-->Clone,选择linked clone,取名为slave,完成虚拟机复制,启动slave,右键桌面上右上角小电脑,Edit Connections,选择eth1,修改Connection nameslave,来到IPv4,选择ManualAddress192.168.1.102Netmask255.255.255.0Gateway192.168.1.2DNS服务器:8.8.8.8,保存,打开命令行,输入:service network restartvim /etc/sysconfig/networkHOSTNAME=slave,完成配置

    九、设置主节点SSH免密,打开master节点-->root@master ~,输入:ssh-keygen -t rsa,遇到提示直接回车,生成两个密钥,存在于:~/.ssh目录下,ls -a可以查看,输入:scp /root/.ssh/id_rsa.pub slave:/root/,输入密码完成拷贝,切换到slave节点,输入cat /root/id_rsa.pub >authorized_keyscd /root/.ssh,输入:chmod 600 authorized_keys,返回master节点,cat /root/.ssh/id_rsa.pub >authorized_keys,输入chmod 600 authorized_keys,完成,这样,主节点登录slave节点,主节点登录自己,都不需要密码了,从主节点启动hadoop,也不需要输入密码了。

    十、启动hadoop,进入master主节点,start-all.sh,会提示start-all.sh is deprecated(过时),不必理会,直到启动完成,启动完成后,输入:jpsmaster节点会出现JpsNameNodeSecondaryNameNodeResourceManager,进入slave,输入jps,会出现,DataNodeNodeManagerJps,到此,hadoop的环境就搭建完成啦,欢迎大家评论,反馈,只为为你们提供更好的文章。

  • 相关阅读:
    MySQL架构优化:定时计划任务与表分区
    关于mysql 删除数据后物理空间未释放(转载)
    Mysql删除数据后磁盘空间未释放的解决办法【转】
    Mysql 自动备份脚本
    迄今最安全的MySQL?细数5.7那些惊艳与鸡肋的新特性(上)【转载】
    Redis学习笔记(二)-key相关命令【转载】
    干货分享:MySQL之化险为夷的【钻石】抢购风暴【转载】
    Apache 实现ProxyPass转发URL到Tomcat并实现http自动转https【转载】
    业务零影响!如何在Online环境中巧用MySQL传统复制技术【转】
    VNC轻松连接远程Linux桌面
  • 原文地址:https://www.cnblogs.com/wanxi/p/6476252.html
Copyright © 2011-2022 走看看