jmeter presto 查询压测

思路：

• 1.从presto 中找出查询慢的sql(>10s) 大约1.4w条，放入mysql 中（具体问什么会放入mysql 后面说该问题）
• 2.使用Jmeter 连接 presto 进行查询 ，查询sql从mysql中随机获取 ；

遇到的问题：

1. 将sql放入csv文件，presto 的查询sql从csv文件中获取，发现Jmeter自带的${__CSVRead(,)} 是按行读取的 ，因为查询sql有换行，我就把csv文件中的每条sql 拉成了1行，结果又发现sql 中有注释符（"--"） ，这样又会有问题 注释符导致sql抛错，解决方案：就放入mysql 当中了 （当然放入excel中也是可以的，这样的话就的使用python/java 写读取excel方法了 然后打包再放入Jmeter 的lib 比较麻烦 我就懒得写了 ）；
2. Jmeter 获取到 从mysql 中的sql 后 返回的是"[{query_sql=select ...}]" 这种结果，而且sql 中有 双引号（"）和 换行符号（ ）在Jmeter 的BeanShell 中都会抛错 ，然后我就通过sql 将这些字符给进行了处理 （因为在Jmeter 中无法直接通过beanshell 处理sql中的换行符和双引号，就选择直接处理原始SQL了 ）；
3. 同样的sql 通过 DBeaver 连接 presto 是可以查询成功的，但在 Jmeter 中的 JDBC Request 组件中查询提示 ： "Error executing query " ,后来通过百度 得知是 presto-jdbc jar 包的版本不匹配导致的 ；
4. presto 查询时部分sql 返回结果集比较大 导致 jmeter 内存溢出，为了解决这个问题，使用dml 语句批量在末尾添加 limit 10，如果在csv 、excel 文件中这种批量操作就不好进行 ；

将csv文件写入mysql:

import com.opencsv.CSVReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.nio.charset.StandardCharsets;
import java.sql.*;
public class prestoRl {
    static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";
    static final String DB_URL = "jdbc:mysql://localhost:3306/test?serverTimezone=Asia/Shanghai";
    static final String USER = "root";
    static final String PASS = "123";
    public static void main(String[] args) {
        Connection conn = null;
        Statement stmt = null;
        try{
            Class.forName(JDBC_DRIVER);
            conn = DriverManager.getConnection(DB_URL,USER,PASS);
            conn.setAutoCommit(false);
             stmt = conn.createStatement();
            String str = "INSERT t_prestoRl VALUES (?,?,?,?,?,?,?)";
            PreparedStatement ps = null;
            ps = conn.prepareStatement(str);

            FileInputStream fis = new FileInputStream("D:/linbo.yang/bigData/prestoLR/aa/20210924.csv");
            InputStreamReader isr = new InputStreamReader(fis,StandardCharsets.UTF_8);
            CSVReader reader = new CSVReader(isr);
            String[] nextLine;
            int i =0 ;
            int index=0 ;
            while ((nextLine = reader.readNext()) != null) {

                i++ ;
                index++;
                String query_user=nextLine[0] ;
                String start_time=nextLine[1] ;
                String query_sql=nextLine[2] ;
                String  elapsed_time_s=nextLine[3] ;
//                System.out.println(query_user+'|'+start_time+'|'+query_sql+'|'+elapsed_time_s);
                ps.setString(1,String.valueOf(index));
                ps.setString(2,query_user);
                ps.setString(3,start_time);
                ps.setString(4,query_sql);
                ps.setString(5,elapsed_time_s);
                ps.setString(6,null);
                ps.setString(7,null);
                ps.addBatch();
                if (i == 1000) {
                    i=0;
                    ps.executeBatch();
                    conn.commit();
                }
            }
            conn.commit();
            stmt.close();
            ps.close();
            conn.close();
        }catch(SQLException se){
            se.printStackTrace();
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            try{
                if(stmt!=null) stmt.close();
            }catch(SQLException se2){
            }
            try{
                if(conn!=null) conn.close();
            }catch(SQLException se){
                se.printStackTrace();
            }
        }
        
    }

}

将 SQL 中的换行符和双引号处理掉：

1 UPDATE t_prestoRl
2 SET query_sql=REPLACE(query_sql,'
','\n ')
3  WHERE instr(query_sql,'
')>0
4 
5 
6  UPDATE t_prestoRl
7 SET query_sql=REPLACE(query_sql,'"','\" ')
8  WHERE instr(query_sql,'"')>0

通过jmeter 测试presto select 压力测试 ：

　　1.添加Jmeter JDBC Connection Configuration 组件；

　　　　>a.下载驱动： （https://prestodb.github.io/docs/current/installation/jdbc.html） 注意：要和 presto 的版本对应 ；我的版本是338  我用的是（presto-jdbc-338.jar）

　　　　>b.连接参数 和 可选参数 ， 查看截图 ；