Kettle

同源情况（源表与目标表在同一个DB下）

• commitSize(1000)
• transMeta方式

数据库ip	源表	目标表	数据规模	开始时间	结束时间	耗时
192.168.2.200	web-user_info	web-user—info-copy	10w	2021-05-12 17:11:16.365	2021-05-12 17:23:14.659	12min

不同源情况

源数据库ip	源表	目标数据源ip	目标数据库表	数据规模	开始时间	结束时间	耗时
192.168.2.225	web-user_info	192.168.2.200	web-user—info-copy	10w	2021-05-12T17:28:37.301	2021-05-12T17:31:31.555	3min

图形化界面(4c8g)

源数据库ip	源表	目标数据源ip	目标数据库表	数据规模	开始时间	结束时间	耗时
192.168.2.225	web-user_info	192.168.2.200	web-user—info-copy	10w	2021-05-12T17:28:37.301	2021-05-12T17:31:31.555	2min46s

优化连接MySQL参数

读场景

• useServerPrepStmts=true
• cachePrepStmts=true

写场景

• useServerPrepStmts=false
  
• rewriteBatchedStatements=true
  
• useCompression=true

参数说明

1. useCompression=true，压缩数据传输，优化客户端和MySQL服务器之间的通信性能。
2. rewriteBatchedStatements=true ，开启批量写功能

源数据库ip	源表	目标数据源ip	目标数据库表	数据规模	开始时间	结束时间	耗时
192.168.2.225	web-user_info	192.168.2.200	web-user—info-copy	10w	2021-05-13T09:02:08.219	2021-05-13T09:02:17.803	9s

图形化界面(4c8g)

源数据库配置

目标数据库配置

源数据库ip	源表	目标数据源ip	目标数据库表	数据规模	耗时
192.168.2.225	web-user_info	192.168.2.200	web-user—info-copy	10w	9.3s

不同commitSize配置

• 已配置数据库优化
• 读 max_connections 设置为500

commitSize	开始时间	结束时间	耗时
1000	2021-05-13T09:02:08.219	2021-05-13T09:02:17.803	9s
2000	2021-05-13T09:30:59.563	2021-05-13T09:31:08.222	9s
3000	2021-05-13T09:34:03.339	结束时间:2021-05-13T09:34:11.627	8s
4000	2021-05-13T09:35:29.937	2021-05-13T09:35:38.302	9s
5000	2021-05-13T09:36:31.333	2021-05-13T09:36:39.046	8s

• 仅配置数据库优化情况

commitSize	开始时间	结束时间	耗时
1000	2021-05-13T09:44:00.488	2021-05-13T09:44:09.950	9s
2000	2021-05-13T09:42:19.654	2021-05-13T09:42:28.961	9s
3000	2021-05-13T09:41:16.073	2021-05-13T09:41:24.577	8s
4000	2021-05-13T09:40:12.387	2021-05-13T09:40:20.680	8s
5000	2021-05-13T09:38:33.182	2021-05-13T09:38:40.834	7s
6000	2021-05-13T10:03:55.195	2021-05-13T10:04:03.525	8s
7000	2021-05-13T10:05:17.773	2021-05-13T10:05:26.159	9s

可见max_connection对提效作用不大

• 未配置数据库优化

commitSize	开始时间	结束时间	耗时
1000	2021-05-13T10:08:52.455	2021-05-13T10:12:01.506	3min
5000	2021-05-13T09:48:15.344	2021-05-13T09:51:24.158	3min

综上,参数调优list如下

• MySQL连接优化

	useServerPrepStmts	cachePrepStmts	rewriteBatchedStatements	useCompression
读	true	true	null	null
写	false	null	true	true

• commitSize 配置为5000