zoukankan      html  css  js  c++  java
  • 【TPCDS】trino+S3+hive+postgresql性能测试异常问题与解决方案(九)

    问题一:./trino --server 10.201.0.125:8080 --catalog postgresql --schema public链接pg,执行show tables报错

     解决:启动start-metastore

    /opt/hive-metastore/bin/start-metastore -p 9083

    问题二:postgresql中执行./trino --server 10.201.0.125:8080 --catalog postgresql --schema public。再次show tables出现报错如下

    解决:重启pg

    [root@cluster-data-node-02 ~]# ss -tulnp | grep 5432
    [root@cluster-data-node-02 ~]# su - postgres
    Last login: Mon Nov  1 21:12:33 CST 2021 on pts/4
    [postgres@cluster-data-node-02 ~]$ pg_ctl restart -D /data1/pgsql/data

    问题三:执行查询时,报错:proxy:null和read timed out

    解决方式一:不用做任何处理,等待一会再次执行SQL语句

    解决方式二:node.properties中添加内容

    spill-enabled=true
    spiller-spill-path=/tmp
    max-spill-per-node=100GB
    query-max-spill-per-node=150GB

    问题四:insert数据到Postgresql中插入数据,报错“超时”

    排查定位问题:进入对应的数据库,输入show session查看query_max_run_time参数的值为600s

    解决

    进入/root/trino/trino-server-363/etc打开node.properties,添加参数

    query.max-run-time=1d

    将600s修改为1d,修改后,再次执行show session查看值已经被更改成功

    更多内容参考trino参数的官网介绍:https://trino.io/docs/current/admin/properties-query-management.html#query-max-execution-time

    问题提示memory不足

     解决(注:每个节点服务器都需要修改)

    (1)进入/root/trino/trino-server-363/etc修改jvm.configs中的参数

    修改前

    -Xmx32G

    修改后

    -Xmx40G

    (2)在trino文档中搜索“memory”,并进入/root/trino/trino-server-363/etc修改config.properties中的参数,

    trino文档查看了解链接:https://trino.io/docs/current/admin/properties-memory-management.html?highlight=per%20node%20user%20memory

    #单个查询在集群的最大内存
    
    query.max-memory=60GB
    
    #单个查询在单个节点上的最大用户内存
    
    query.max-memory-per-node=16GB
    
    #单个查询在单个节点上的最大用户和系统内存
    
    query.max-total-memory-per-node=20GB

    【重要】注意如上的内存参数修改时,均已JVM给定的大小基础上进行倍数相乘,详细注意看官方文档

     
    1.作者:Syw
    2.出处:http://www.cnblogs.com/syw20170419/
    3.本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
    4.如果文中有什么错误,欢迎指出。以免更多的人被误导。
  • 相关阅读:
    http://blog.csdn.net/sinat_33950284/article/details/50646622
    http://edu.csdn.net/course/detail/2798?ref=blog&loc=0
    微服务架构的分布式事务解决方案
    http://www.cnblogs.com/chenpi/p/5999707.html
    http://blog.csdn.net/hejingyuan6/article/details/47403299
    https://www.oschina.net/p/goshop2
    https://github.com/SuperMan42/MVP
    spring mvc
    http://www.iyaxi.com/2015-11-17/732.html
    场景测试
  • 原文地址:https://www.cnblogs.com/syw20170419/p/15593782.html
Copyright © 2011-2022 走看看