zoukankan      html  css  js  c++  java
  • 搭建Hadoop2.0(一)系统环境基本配置

    1. 安装ubuntu10.04

      为了和合作公司的产品匹配,选择了ubuntu10.04操作系统。安装方法如下:

      (1)安装vmware8.0.

      (2) 新建一个虚拟机,选择“I will install the operation system later”。在Setting中的CD/DVD(IDE)选择加载ISO,然后安装。直接安装会导致进入不了图形界面。

      (3)虚拟机中的安装过程很漫长,在79%的时候死机一次。后来发现拔掉网线安装比较快。在95%时,又停顿很长时间,不过也有网友提到过这个问题,耐心等待即可。

    2. root账户登录

      Ubuntu是很让人纠结的系统,为了避免误操作极大的限制了用户的权限,用起来很麻烦。如果是新手,希望采用直接root登录的方法,可以省去很多麻烦,但的确要小心误操作,一键Del下去文件就真没了。

      操作方法:运行sudo passwd root,设置root密码。重启,在其他用户中登录用root登录。假如不用root登录,在命令前加sudo也可以解决大部分问题。

    3.设置计算机名和IP

      建立三个虚拟机,ubuntu170、ubuntu171、ubuntu172。修改计算机名的操作方法:修改gedit /etc/hostname,重启后生效。设置IP为10.1.50.170/171/172、16,子网掩码255.255.255.0,网关10.1.50.254。设置后ping一下物理机,测试是否成功。设置方法:把vmware的网络连接模式改为桥接模式,然后输入命令sudo gedit /etc/network/interfaces进行编辑,加入内容:

      auto eth1 

      iface eth1 inet static

      address 10.1.50.170

      gateway 10.1.50.254

      netmask 255.255.255.0

    保存退出,用sudo /etc/init.d/networking restart命令来启用配置。

    注:网卡“eth1”是1还是2,可以在网络工具中查询到网卡的状态来决定。

    4. 安装VMware Tools

      为了解决虚拟机与物理机的文件共享和虚拟机之间的文件共享,安装VMwareTools是很有必要的,这个工具也很强大。

      操作方法:点击VM下的VMware Tools Installation,将虚拟光驱中的VMware Tools复制到/tmp中,用终端打开并进行解压,运行tar –zxvf VMwareTools-8.8.2-590212.tar.gz,然后运行./vmware-install.pl进行安装。在vm-setting-options设置共享文件夹,D:\My Virtual Machine\share。几个虚拟机可以使用同一个目录,实现文件共享。

    5. 配置 JAVA1.7.0_05

      Ubuntu自带的openjdk不行,还是要装sun公司的java。操作方法如下:

           (1)下载了jdk-7-linux-x64.tar.gz,放到共享文件夹中。将其解压到/usr/lib/jvm中,然后在运行sudo tar zxvf /mnt/hgfs/share/jdk-7-linux-x64.tar.gz -C /usr/lib/jvm ,把名字改为java-7-sun,sudo mv jdk1.7.0/ java-7-sun。

           (2)修改环境变量gedit ~/.bashrc。在文件中的末尾加入以下内容:

           export JAVA_HOME=/usr/lib/jvm/java-7-sun 
           export JRE_HOME=${JAVA_HOME}/jre 
           export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
           export PATH=${JAVA_HOME}/bin:$PATH

    然后运行source ~/.bashrc,执行配置文件。

      (3)配置默认JDK版本

      sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 
      sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300 
      sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300

      sudo update-alternatives --config java  选择正确的编号。

      (4)查看java版本号

      输入java –version,系统显示以下内容则配置成功。

    java version "1.7.0_05"
    Java(TM) SE Runtime Environment (build 1.7.0_01-b08)
    Java HotSpot(TM) Client VM (build 21.1-b02, mixed mode)

    注:在配置过程中,开始使用的是32位系统的JAVA,导致好几天没有进展,后下载了64位的版本得到解决。还有一种方法,32位系统时,是因为缺少库ia32-libs,下载这个库即可。

    6.手动配置SSH

           为了解决节点之间的通信信任问题,各节点要开启SSH服务。苦逼的Ubuntu不自带SSH,在线安装SSH的方法很多,但实验室电脑不能上网,只能苦逼地自己查资料想办法,然后一个一个地试版本。具体操作方法:

      (1)下载以下三个文件并逐个安装:

     

    openssh-client_5.3p1-3ubuntu7_amd64.deb

    openssh-server_5.3p1-3ubuntu7_amd64.deb

    ssh_5.3p1-3ubuntu3_all.deb

     

    命令为sudo dpkg –i ‘flie’。启动服务sudo /etc/init.d/ssh start,查看服务是否正确启动ps -e|grep ssh。

      (2)在主节点的根目录下(即命令提示行的目录不用修改)建立.ssh目录,生成密钥对ssh-keygen –t rsa,进入.ssh目录执行cp id_rsa.pub authorized_keys。将文件authorized_keys复制给其他机器scp authorized_keys ubuntu171:/root/.ssh,scp authorized_keys ubuntu172:/root/.ssh。

      (3)进入所有机器的.ssh目录cd ~/.ssh,改变authorized_keys文件的许可权限,chmod 644 authorized_keys。(root用户登录不需要此步骤)

    7Clone虚拟机

           我在配置过程中好几个步骤都配置了三遍,后来分析配置好一个剩下的clone就行。操作方法:在目标机上点右键-Manage-clone,一路点下来就行。需要修改的地方有主机名和IP,前面已经介绍过了。

     小结:

      以上花了我近十天的时间,走过不少弯路。虽然没什么技术含量,但确实花费了心血很多。下一步进行Hadoop配置。

     

  • 相关阅读:
    【计蒜客习题】取石子游戏
    【SCOI2005】骑士精神
    依赖背包
    强连通分量
    2017 Multi-University Training Contest
    2017 Multi-University Training Contest
    3月每日。
    2月每日DONE。
    寒假划水。
    基础实验2-2.5 整数分解为若干项之和 (20分)--dfs
  • 原文地址:https://www.cnblogs.com/aniuer/p/2579300.html
Copyright © 2011-2022 走看看