问题:
公司最近在搞presto,主要是分析一下presto和hive的查询大数据量的性能对比:
我先把我的对比图拿出来(50条数据左右)针对同一条sql(select * from employee where eid = 1203)
hive的查询,下面有时间:4.436s
presto的查询: 0.02s
查询效率比为 4.436 / 0.02 === 2021
补充:
presto是什么
Presto是Facebook开发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。【百度】
我的理解就没那么深了。我认为presto是一个分布式搜索引擎。为了加快查询效率,应对大数据量的查询而产生的:presto不是传统意义上的数据库,
presto产生的目的:
Presto被设计为数据仓库和数据分析产品:数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。
谁使用Presto:
Presto是FaceBook开源的一个开源项目。Presto在FaceBook诞生,并且由FaceBook内部工程师和开源社区的工程师公共维护和改进。
应用:
扯了那么多,大家应该对presto有点简单的认识了,那就看看怎么应用吧
既然要对比hive和presto的性能问题,那就要面临hadoop环境搭建的问题:下面我简单搭建一下hadoop的单机环境,作为此次的测试环境,
准备软件:链接地址 链接:http://pan.baidu.com/s/1eSaUnYU 密码:5yrg
hadoop-2.6.0.tar
apache-hive-2.1.1
presto-server-0.100.tar
jdk-8u151-linux-x64.tar
注意:其实还需要准备mysql,但是在centos7中默认是Mariadb ,和mysql差不多,直接用这个也行
基本软件准备好,开始安,安装我分为两部分:
1.安装的准备工作(ssh 防火墙,主机名,jdk等配置)
2.软件的安装(mysql,hadoop,hive,presto的安装配置)
安装准备工作:
1> 我是单机测试:所以要把防火墙关闭,防止端口访问不了的问题
centos7的命令是:
systemctl stop firewalld
systemctl disable firewalld ---禁止防火强开启启动
setenforce 0 -- 关闭selinux
修改/etc/selinux/config ,设定 SELINUX=disabled --测底关闭selinux
2> 创建用户(无所谓,为了更正式我写上了,一般用root权限太大,防止出错,无法恢复)
创建用户hive,并以/home/hive 作为所有组件的Home,java例外
3> ssh的免密登录(单机无所谓,集群要分批拷贝到slave机器上)
确保是在/home/hive目下,执行以下命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
4>修改hosts文件:
5> jdk的安装(为啥要用jdk8会在最后讲解错误的时候解释,耐心点,往后看)
把jdk8放在/usr/local下:解压即可(由于我在原有集群上改的,jdk的名字还保留原来的,只是把解压后的jdk8的文件放在这个文件夹里面了,这样不影响我原来集群的运行)
tar -zxvf jdk-8u151-linux-x64.tar.gz
6>修改/etc/profile 让环境变量java生效: 执行此命令 source /etc/profile (最后也就安装那么多东西)
至此,安装前的准备工作已经准备完毕:
软件安装过程:
先安装mysql | 或者mariaDB(centos默认带有的。我直接用这个了)
第一步:
yum -y install MariaDB-client MariaDB-server MariaDB-devel
第二步:开启服务:
service mysql start
第三步:设置密码:(默认无密码)
mysqladmin -u root password ‘888888’
连接数据库:成功如下:
关于授权问题我就不扯了。想玩的去找度娘。安装到这没问题的话就完成30%了,继续加油,搞起来!!!!!
下面安装hadoopl了(兴奋。。。。)
把hadoop2.6 上传到/opt下 如下图:(我把其他软件也放在这了,下面就不说了)
1> 解压hadoop:
2> 在profile中配置hadoop的HADOOP_HOME PATH等,然后source /etc/profile生效
3> 设置hadoop的一些配置文件
先创建一些目录,在core-site.xml hdfs-site,xml中配置要使用:
mkdir -p /home/hadoop/hadoop/tmp
mkdir -p /home/hadoop/hadoop/hdfs
mkdir -p /home/hadoop/hadoop/hdfs/data
mkdir -p /home/hadoop/ hadoop/hdfs/name
3.1》进入到hadoop目录中 进入到 $HADOOP_HOME/etc/hadoop中:
修改hadoop_env.sh,yarn-env.sh,mapred-env.sh 加上JAVA_HOME的路径 export JAVA_HOME=/usr/local/jdk1.7.0_79
3.2》 配置hadoop的四大金刚(core | hdfs | yarn | mapred ).xml文件
配置core
1 <configuration> 2 3 <property> 4 <name>fs.defaultFS</name> 5 <value>hdfs://hive:9001</value> 6 <description>HDFS的URI,文件系统://namenode标识:端口号,默认是9000</description> 7 </property> 8 <property> 9 <name>hadoop.tmp.dir</name> 10 <value>/home/hadoop/hadoop/tmp</value> 11 <description>namenode上本地的hadoop临时文件夹</description> 12 </property> 13 <property> 14 <name>ipc.client.connect.max.retries</name> 15 <value>100</value> 16 <description>默认10次,现在配置100次</description> 17 </property> 18 <property> 19 <name>ipc.client.connect.retry.interval</name> 20 <value>10000</value> 21 <description>连接间隔1秒钟,默认是0.1秒</description> 22 </property> 23 </configuration>
配置hdfs
1 <property> 2 <name>dfs.namenode.name.dir</name> 3 <value>/home/hadoop/hadoop/hdfs/name</value> 4 <description>namenode上存储hdfs名字空间元数据 </description> 5 </property> 6 <property> 7 <name> dfs.datanode.data.dir</name> 8 <value>/home/hadoop/hadoop/hdfs/data</value> 9 <description>datanode上数据块的物理存储位置</description> 10 </property> 11 <property> 12 <name>dfs.replication</name> 13 <value>1</value> 14 <description>副本个数,配置默认是3,应小于datanode机器数量</description> 15 </property> 16 <property> 17 <name>dfs.namenode.rpc-address</name> 18 <value>hive:9001</value> 19 <description>RPC address that handles all clients requests。有人说需要和fs.defaultFS 一样端口</description> 20 </property>
配置yarn
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hive:8099</value> <description>用于管理集群的资源,可以通过浏览器访问 </description> </property> <property> <name>yarn.nodemanager.webapp.address</name> <value>hive:8042</value> <description>用于管理节点,可以通过浏览器访问 </description> </property>
配置mapred
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
最后:slaves
hive
4>启动并验证
$HADOOP_HOME/bin/hdfs namenode –format --这个执行一次即可。
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
telnet 测试对应端口是不是能连接上:
输入jps看看服务是不是都能起来:
测试结果:
至此hadoop安装完毕,测试完毕:不错完成60%
安装hive :
1>上传到 /opt上 解压 在/etc/profile 配置环境变量位置 让环境变量生效 source /etc/profile
2> 创建一些hive的保存目录
准备hdfs路径
hdfs dfs -mkdir -p /warehouse
hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -chmod 773 /warehouse
hdfs dfs -chmod 773 /tmp/hive
3> cd $HIVE_HOME/conf下修改hive-env.sh ,hive-site.xml (如果没有就用模板修改)
修改hive-env.sh
修改hive-site.xml
到此。hive安装完毕:
注意。网上有的说要进行初始化:$HIVE_HOME/bin/schematool -dbType mysql -initSchema (但我没执行这步也ok)【待考证】
启动 hive
hive --service metastore
此时,在hive的安装目录任意位置,输入hive启动,然后jps 会出现RunJar这个进程
说明hive启动时正常的,侧面验证hive安装成功:
安装presto 安装参考
1》老规矩,上传到/opt 解压 配置profile 执行source /etc/profile 让变量生效
2》因为presto中的文件夹啥的自己创建:
创建目录
mkdir -p $PRESTO_HOME/etc/catalog
mkdir -p /home/hadoop/data_presto/data
关于etc下的其他文件和catalog文件夹:不扯淡,上官网解释
在我机器上的配置如下:
node.properties
config.properties
jvm.config
log.properties
进入catalog文件夹下,配置数据源的信息,我连接的是hive,然后就配置个hive.preperties文件即可:
到这,presto的配置也完毕了。
进入bin目录下,启动测试一把:
cd $PRESTO_HOME/bin 执行 ./launcher start 然后进程会出现PrestoServer
测试config的路径连接 我的是http:192.168.52.142:8888 成功如下: 会记录你的presto的每一步操作信息
至此整个hadoop+hive +presto搭建完毕了!!!!!!!!!!!!!!
还没结束:还有一点presto的cli介绍一下: 安装server是:presto-server-0.100.tar
下载对应版本的 presto-cli-0.100-executable 不然会报错的:
分为三步:
1》上传 j解压 改名presto-cli:
2》改权限 chmod +x presto-cli
3》mv移动到bin目录下
4》命令行连接:在bin目录下运行
./presto-cli --server hive:8888 --catalog hive --schema default
有人会问,你咋知道连接到hive了,那我用hive连接一下,验证一下
常见错误总结:
1》错误一:
Error: Defunct property 'task.max-memory' (class [class com.facebook.presto.execution.TaskManagerConfig]) cannot be configured. at com.facebook.presto.server.ServerMainModule.setup(ServerMainModule.java:254)
这是因为版本不一致造成的,所以我说的是server和cli版本要一致,我用的都是0.100版本:
2》错误二
连接拒绝 refused. Connected........
那就是prestoServer的进程没起来 ./laucher start这一步失败,去presto家目录看看配置文件是不是写错了
3》错误三
在config.properties中设置node-scheduler.include-coordinator=true
4》错误四
jdk 1.8 使用与server 0.86以上版本 0.85以下 jdk 1.7版本(这也是一开始为啥我把我的jdk7换成8的原因)