【TPCDS】trino+S3+hive+postgresql性能测试trino+postgresql环境安装部署（二）

环境要求

• Mac OS X 或 Linux
• jdk11.0.11到12版本之间
• Python 2.6.x, 2.7.x, or 3.x

环境信息（不用关注）

服务器配置

IP地址	用户名/密码	Cpu/Mem	系统盘	网卡	普通磁盘（HDD）	高性能磁盘（SSD）	节点数量
10.201.0.122 - 10.201.0.125	xxxxx	16核/64G	200G	万兆	1T+500G*4	0	4

使用环境

AN		10.201.0.125
DN		10.201.0.122~10.201.0.124
web ui		http://10.201.0.125:8080/

安装java

参考文章：https://www.cnblogs.com/wjup/p/11041274.html

java要求：AdoptOpenJDK-11.0.11+9或OpenJDK均可

环境配置

#set java environment

export JAVA_HOME=/usr/local/jdk-11.0.11+9

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME CLASSPATH PATH

 

安装trino

• 官网下载trino-server和trino-cli的地址：https://trino.io/download.html
• 安装trino介绍文档：https://blog.csdn.net/zheng911209/article/details/118673775
• 验证trino安装是否成功：

进入到trino的trino-server-363目录下，输入命令：./trino --server 10.201.0.124:8080 --catalog jmx

 

presto部署连接postgresql

注：承接安装trino的第四步配置catalog

1、postgresql已安装并配置成功，可成功访问

2、在/trino-server-359/etc/calalog目录下新建postgresql.properties文件

vim postgresql.properties

配置内容

connector.name=postgresql
connection-url=jdbc:postgresql://10.201.0.125:5432/syw_1026_student
connection-user=postgres
connection-password=public

注：其postgres是10.201.0.125的服务器，已安装的postgresql数据库上建的库。注意这里的postgres直接影响着后面连接posrgressql后查看到的表，要使用哪个库，在这里就写哪个库

3、重启动trino

• 进入/root/trino/trino-server-363/bin目录下，输入命令：./launcher run

#启动，该命令可以看见日志
./launcher run

#启动，该命令后台启动

./launcher start

#终止
./launcher stop

#重启
./launcher restart

　　

4、验证trino连接postgresql

进入到trino的trino-server-363目录下，输入命令：

./trino --server 10.201.0.125:8080 --catalog  postgresql --schema syw_1026_student;

--server：配置的服务器信息

--catalog：数据源类型，此处是postgresql

--schema：postgresql的数据库名称，与/root/trino/trino-server-363/etc/catalog/postgresql.properties中connection-url中写入的库名保持一致

多集群环境配置

1、10.121.0.125作为master的部署配置

• 修改config.properties

node-scheduler.include-coordinator=false    #由true改为false

 

2、10.121.0.122~10.121.0.124作为worker的配置部署

• 修改config.properties ，修改后的显示如下：

1. coordinator=true 改为 coordinator=false

2. discovery.uri=http://10.201.0.122:8080，将各个节点的uri均改为 discovery.uri=http://10.201.0.125:8080

3. 注释掉web-ui.enabled=true

• 修改node.properties，每个node.id都必须不一致，之前若已设置，则不用修改，其他内容不用改

示例：10.201.0.123 的node.id的设置如下

node.id=trino-123-DN

示例：10.201.0.124 的node.id的设置如下

node.id=trino-124-DN

3、重启trino，包括：master、各个worker节点

进入到/root/trino/trino-server-363/bin目录下，输入命令：

./launcher restart

4、查看集群是否配置成功

进入web页面查看集群状态，浏览器输入：http://10.201.0.125:8080/

 

如上则表示集群配置完成，并验证全部成功

 

附加说明

web ui的使用介绍

问题一：query details显示出内容

 

解决方案：在master或worker节点上执行具体的sql语句，即可看到对应的执行结果

操作步骤：

1. 进入某个worker节点，如10.201.0.123

2. 进入/root/trino/trino-server-363目录下，执行：

[root@cluster-meta-node-03 trino-server-363]# ./trino --server 10.201.0.125:8080 --catalog  postgresql --schema postgres

trino:postgres> show schemas;

SQL执行的截图示例：

 

 执行完成后，刷新web ui界面，即可看到如下截图的效果

 

 每次sql 的执行，均可看到详细的执行信息，具体实战中去了解即可。

 

参考网站

• Trino安装：https://blog.csdn.net/zheng911209/article/details/118673775
• postgreSQL连接器（trino官方文档）：https://trino.io/docs/current/connector/postgresql.html
• presto部署连接postgresql：https://blog.csdn.net/zilongreco/article/details/85262667
• 即席查询之Trino357编译安装部署 集群启停脚本编写 yanagishima编译包下载：https://blog.csdn.net/weixin_52918377/article/details/117777198