zoukankan      html  css  js  c++  java
  • 最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)

    说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)

    1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图

    2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如图,然后重启服务service network restart,然后再运行ifconfig发现eth0有了ip地址也有了,好ok,这时候你就可以用主机连接虚拟机操作了(个人建议用xshell工具好用)

    3.安装jdk,将jdk-8u11-linux-x64.tar上传到虚拟机/home/hf(个人用户的文件夹),然后解压,然后将文件copy到/usr/java目录下,如图,接着配置环境变量在/etc/profile文件中添加如下几行,如图,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:这个,这个是后边hadoop相关的环境变量,这里还用不到,然后运行source /etc/profile使环境变量生效,运行java -version出现java版本等信息表明jdk已经安装好了

    4.配置ssh免密码登录,首先修改/etc/hosts,修改为以下内容,注意ip要根据实际ip来

    然后配置免密码先在hadoop1上执行

    一.ssh-keygen -t rsa

    二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

    其余两台机器类似

    5.安装hadoop,解压hadoop安装包,放到/usr/hadoop目录下,如图,然后配置hadoop相关文件。

     首先配置/usr/hadoop/etc/hadoop/core.site.xml

    <property>
            <name>fs.defaultFS</name>//namenode的地址
            <value>hdfs://hadoop1:9000</value>
    </property>
    
    <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/home/tmp</value>
    </property>

    配置/usr/hadoop/etc/hadoop/hdfs.site.xml

    <property>
            <name>dfs.namenode.name.dir</name>               //namenode数据存放地址
            <value>file:/home/hadoop/namenode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>               //datanode数据存放地址
            <value>file:/home/hadoop/datanode</value>
    </property>
    <property>
            <name>dfs.replication</name>                     //副本
            <value>2</value>
    </property>

    配置/usr/hadoop/etc/hadoop/mapred-site.xml

    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

    配置/usr/hadoop/etc/hadoop/yarn-site.xml

    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop1:8031</value>
    </property>
    <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop1:8030</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop1:8032</value>
    </property>
    <property>
    <name>yarn.resourcemanager.webapp.address</name>                  //yarn的界面
    <value>hadoop1:8088</value>
    </property>

    配置/usr/hadoop/etc/hadoop/slaver,加入3台机器的hostname

    hadoop2
    hadoop3
    hadoop1

    配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相应行修改为JAVA=$JAVA_HOME/bin/java

    然后/etc/profile修改一开始已经列出,这里就不列了,hadoop已经安装好了

    先运行hadoop namenode -format 格式化,然后用start-all.sh来启动hadoop集群了,主节点有namenode,从节点有datanode表明正常

    6.安装zookeeper和hbase

    先安装zookeeper,先解压到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下

    tickTime=2000
    dataDir=/var/log/zookeeper
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=hadoop1:2888:3888
    server.2=hadoop2:2888:3888
    server.3=hadoop3:2888:3888

    在/var/log/zookeeper下创建myid文件写入1或2或3,hadoop1机器的话写1,hadoop2机器的话写2,hadoop3机器的话写3

    分别启动zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常

    安装hbase,解压hbase到/usr/hbase

    配置/usr/hbase/conf/hbase-site.xml

    <name>hbase.rootdir</name>
      <value>hdfs://hadoop1:9000/hbase</value>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>hadoop1,hadoop2,hadoop3</value>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/var/log/zookeeper</value>
    </property>
    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>

    配置/usr/hbase/conf/hbase-env.xml,修改

    export JAVA_HOME=/usr/java/jdk1.8.0_11/

    export HBASE_MANAGES_ZK=false

    配置/usr/hbase/conf/regionservers添加

    hadoop1

    hadoop2

    hadoop3

    就可以启动hbase了,要先启动hadoop和zk才能启动hbase,命令start-hbase.sh,看各节点的进程,jps -l,主节点有hmaster,从节点有hregionserver,这样表示正常

    7.spark安装

    首新解压spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆盖

    export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop

    配置slaves,添加

    hadoop1

    hadoop2

    hadoop3

    好了至此环境都搭建好了,首先起hadoop再zk再hbase。

    (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)

  • 相关阅读:
    【黑金视频连载】FPGA NIOSII视频教程(08)RTC实验
    【黑金研发】【ABS05】函数信号发生器进行中…
    【黑金视频连载】NIOSII视频教程(05)电平中断实验
    【新品发布】正式发布 [ ABS05 ] 函数信号发生器
    【黑金视频连载】FPGA NIOSII视频教程(13)IIC实验实验
    【黑金视频连载】NIOS II视频教程(01)软件安装
    解决input设置背景后,在ie7下浏览内容过长背景跟着滚动
    命令开启数据库服务器
    装win7 旗舰版的蛋疼经历,装后疑难杂症及解决办法
    海量jquery插件
  • 原文地址:https://www.cnblogs.com/huafei/p/6085526.html
Copyright © 2011-2022 走看看