hadoop+hive+hbase+spark

环境要求:

centos7:CentOS Linux release 7.3.1611

版本：hadoop-2.7.4，hive-2.1.1，hbase-1.2.6，scala-2.11.12 ，spark-2.2.1

hadoop服务部署:

参考地址:http://m.blog.csdn.net/qq_33314107/article/details/74932763

一、 配置hosts文件

　　先简单说明下配置hosts文件的作用，它主要用于确定每个结点的IP地址，方便后续master结点能快速查到并访问各个结点。在上述3个虚机结点上均需要配置此文件。由于需要确定每个结点的IP地址，所以在配置hosts文件之前需要先查看当前虚机结点的IP地址是多少，可以通过ifconfig命令进行查看，如本实验中，master结点的IP地址为：

二、建立hadoop运行帐号　

　　sudo groupadd hadoop    //设置hadoop用户组

　　sudo useradd -s /bin/bash -d /home/wanson -m wanson  -g hadoop    //添加一个wanson用户，此用户属于hadoop用户组

　　sudo passwd wanson   //设置用户zhm登录密码

三、配置ssh免密码连入(三台之间互相免密码登录)

四、下载并解压hadoop安装包

　　wget  http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5-src.tar.gz

五、配置namenode,修改site文件

　　在配置site文件之前需要作一些准备工作，下载Java最新版的JDK软件，可以从Oracle官网上下载，我使用的jdk软件版本为：jdk1.7.0_09，我将java的JDK解压安装在/opt/jdk1.7.0_09目录中，接着配置JAVA_HOME宏变量及hadoop路径，这是为了方便后面操作，这部分配置过程主要通过修改/etc/profile文件来完成，在profile文件中添加如下几行代码：

　三台服务器环境配置一样：　

source   /home/wanson/.bash_profile

cat  /ebsig/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>/ebsig/hadoop/data</value>
　　　　<final>true</final>
　　</property>
　　<property>
　　　　<name>dfs.name.dir</name>
　　　　<value>/ebsig/hadoop/source/hdfs</value>
　　　　<final>true</final>
　　</property>

　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　　　<final>true</final>
　　</property>
</configuration>

cat   /ebsig/hadoop/etc/hadoop/core-site.xml

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://10.2.0.12:9000</value>   #hadoop主节点地址
　　　　<final>true</final>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/ebsig/hadoop/tmp</value>
　　　　<description>A base for other temporary directories</description>
　　</property>
</configuration>

vim /ebsig/hadoop/etc/hadoop/mapred-site.xml

<configuration>
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>10.2.0.12:9001</value>
　　</property>
</configuration>

整个目录同步到两台从服务器

六、配置/ebsig/hadoop/etc/hadoop/hadoop-env.sh文件

export HADOOP_HOME=/ebsig/hadoop
export HIVE_HOME=/ebsig/hadoop/apache-hive
export JAVA_HOME=/home/wanson/jdk1.8.0_131
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin:/home/wanson/jdk1.8.0_131

七、/ebsig/hadoop/etc/hadoop/配置masters和slaves文件

八、向各节点复制hadoop

　　向两个从节点复制

九、格式化namenode

　　执行hadoop  namenode  -format   #在主节点上执行，交互时选“Y”

十、启动hadoop和关闭hadoop

　　/ebsig/hadoop/sbin/start-all.sh

　　/ebsig/hadoop/sbin/stop.all.sh　

十一、用jps检验各后台进程是否成功启动

　　

十二、通过网站查看集群情况

http://10.2.0.12:8088/cluster

http://10.2.0.12:50070/dfshealth.html#tab-datanode

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

参考地址: http://blog.csdn.net/jssg_tzw/article/details/72354470

hive部署：软件包下载:wget  http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

tar  -zxvf   apache-hive-2.1.1-bin.tar.gz

mv  apache-hive-2.1.1   apache-hive

#拷贝hive-default.xml.template

并重命名为hive-site.xml：cp hive-default.xml.template hive-site.xml

#编辑hive-site.xml

vim hive-site.xml   #远程连接hive免密码需要设置NOSASL

cd $HADOOP_HOME #进入Hadoop主目录

bin/hadoop fs -mkdir -p /hive/warehouse #创建目录

bin/hadoop fs -chmod -R 777 /hive/warehouse #新建的目录赋予读写权限

bin/hadoop fs -mkdir -p /tmp/hive/#新建/tmp/hive/目录

bin/hadoop fs -chmod -R 777 /tmp/hive #目录赋予读写权限

#用以下命令检查目录是否创建成功

bin/hadoop fs -ls /user/hive bin/hadoop fs -ls /tmp/hive

修改hive-site.xml中的临时目录

 

 mkdir -p /ebsig/hadoop/apache-hive/tmp/wanson/

touch /ebsig/hadoop/apache-hive/tmp/wanson/operation_logs

数据库授权：创建mysql-5.7  并创建hive和并对该库进行授权和密码

以上临时目录报错参考链接:http://blog.csdn.net/fhg12225/article/details/45817477

数据库创建参考链接: http://blog.csdn.net/jssg_tzw/article/details/68944693 

将MySQL驱动包上载到Hive的lib目录下

cp /home/dtadmin/spark_cluster/mysql-connector-java-5.1.36.jar $HIVE_HOME/lib/

对mysql数据库初始化:

对MySQL数据库初始化：

 #进入到hive的bin目录 cd $HIVE_HOME/bin

#对数据库进行初始化 schematool -initSchema -dbType mysql

启动服务:nohup hive --service hiveserver2 &

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

参考链接:参考地址:https://www.cnblogs.com/lzxlfly/p/7221890.html

Hbase部署:wget  http://mirrors.hust.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

1、添加环境变量:

export HBASE_HOME=/ebsig/hbase-1.2.6
export HBASE_PID_DIR=/ebsig/hadoop/pids
export PATH=$HBASE_HOME/bin:$PATH
export HADOOP_CLASSPATH=$HBASE_HOME/lib/*:classpath

vim  /ebsig/hbase-1.2.6/conf/hbase-env.sh   #使用hbase自带zookeeper

2、vim  /ebsig/hbase-1.2.6/conf/hbase-site.xml

<configuration>
　　<property>
　　　　<name>hbase.rootdir</name> <!-- hbase存放数据目录 -->
　　　　<value>hdfs://10.2.0.12:9000/hbase</value>

　　　　<!-- 端口要和Hadoop的fs.defaultFS端口一致-->
　　</property>
　　<property>
　　　　<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>hbase.zookeeper.quorum</name> <!-- list of zookooper -->
　　　　<value>hadoop-master,hadoop-slave-01,hadoop-slave-02</value>
　　</property> 　　　

　　<property><!--zookooper配置、日志等的存储位置 -->
　　　　<name>hbse.zookeeper.property.dataDir</name>
　　　　<value>/ebsig/hbase/zookeeper</value>
　　</property>
</configuration>

3、cat /ebsig/hbase-1.2.6/conf/regionservers   #去掉默认的localhost，添加图片内容

把以上目录同步到两台从服务器

在主master启动hbase:/ebsig/hbase-1.2.6/bin/start-hbase.sh   #启动命令

在主master上用jps查看:有HMaster、HQuormPeer进程

在slave上查看:jps查看有HRegionServer、HQuorumPeer启动成功

验证:用hbase  shell然后输入status命令查看以下内容:

在浏览器访问:http://hadoop-master:16010   

stop-hbase.sh   关闭服务命令

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

scala环境部署:

1、下载地址:http://www.scala-lang.org/download/

环境变量:

export SCALA_HOME=/ebsig/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

spark环境部署:下载地址:http://spark.apache.org/releases/spark-release-2-2-1.html

环境变量:

#spark
export SPARK_HOME=/ebsig/spark-2.2.1-bin-hadoop2.7

2、vim /ebsig/spark-2.2.1-bin-hadoop2.7/conf/spark-env.sh   #添加以下内容到该配置

export SPARK_DIST_CLASSPATH=$(/ebsig/hadoop/bin/hadoop classpath)
#rzx----config
SPARK_LOCAL_DIRS=/ebsig/spark-2.2.1-bin-hadoop2.7/local #配置spark的local目录
SPARK_MASTER_IP=hadoop-master #master节点ip或hostname
SPARK_MASTER_WEBUI_PORT=8085 #web页面端口

#export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=4" #spark-shell启动使用核数
SPARK_WORKER_CORES=4 #Worker的cpu核数
SPARK_WORKER_MEMORY=2g #worker内存大小
SPARK_WORKER_DIR=/ebsig/spark-2.2.1-bin-hadoop2.7/worker #worker目录
SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=604800" #worker自动清理及清理时间间隔
SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://hadoop-master:9000/spark/history" #history server页面端口>、备份数、log日志在HDFS的位置
SPARK_LOG_DIR=/ebsig/spark-2.2.1-bin-hadoop2.7/logs #配置Spark的log日志
JAVA_HOME=/home/wanson/jdk1.8.0_131 #配置java路径
SCALA_HOME=/ebsig/scala-2.11.12 #配置scala路径
HADOOP_HOME=/ebsig/hadoop/lib/native #配置hadoop的lib路径
HADOOP_CONF_DIR=/ebsig/hadoop/etc/hadoop/ #配置hadoop的配置路径

 3、vim /ebsig/spark-2.2.1-bin-hadoop2.7/conf/spark-defaults.conf    #添加以下内容:

spark.master spark://hadoop-master:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop-master:9000/spark/history
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 1g
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

4、vim  /ebsig/spark-2.2.1-bin-hadoop2.7/conf/slaves   #添加以下图片内容

参考地址:https://www.cnblogs.com/NextNight/p/6703362.html

5、把scala和spark同步到两台slave服务器上

6、启动spark:/ebsig/spark-2.2.1-bin-hadoop2.7/sbin/start-all.sh  #启动服务 （两台从服务器也要启动）

　　/ebsig/spark-2.2.1-bin-hadoop2.7/sbin/stop-all.sh    #关闭服务

7、浏览器访问:http://10.2.0.12:8085/   出现以下页面就已经成功了