Msyql到Vertica
1、mysql中在openshop 数据库中选择其中一个300W左右数据的表
create table ip_records_tmp_01
AS
SELECT * FROM ip_records_tmp t
WHERE t.datetime<= '2015-05-01'
2、vertica创建表ip_records_tmp_01，注意字段类型和mysql有点不一样。
全量抽取2478130条数据，耗时30s，速度不错！
3、在mysql中新增972948条数据，删除462151条数据，更新273427条数据
新增：
insert into ip_records_tmp_01
select * from ip_records_tmp t
where t.`datetime` > '2015-05-01';
删除：
delete from ip_records_tmp_01
where `datetime` <= '2015-05-01' and `datetime` >'2015-04-01';
更新：
update ip_records_tmp_01
set remark1 ='INMAN',remark2 ='LEFTLIFE'
where
`datetime` <= '2015-04-01' AND `datetime` >'2015-03-01'
增量抽取，耗时2h 3mn 33s，速度不能接受。
调试1，利用时间戳
利用时间戳来增量抽取数据，针对数据允许的情况优先考虑，但是不排除时间戳无法实施的情况，所以还需寻找其他方法。
调试2，建立索引
从mysql到sqlserver数据表和数据量都一致的情况下的截图：
全量抽取，耗时42S
对sqlserver的表建立索引，增量抽取数据，耗时10mn 50s，速度也还算可以。
于是在vertica中建立类似索引的projection,效果不理想，速度没见明显提高，所以不截图，这次调优也不行。
调试3，临时表+运行脚本
全量抽取，耗时32s
增量抽取，耗时1mn 48s，速度有大幅度提升。
一些错误解决方法
Kettle内存溢出 out of memory
解决方法：调整kettle调用java的JVM内存大小,修改spoon.bat文件中的
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx4096m" "-XX:MaxPermSize=4096m"
把内存调大,运行大数据量排序时，如果不调整内存,kettle会崩溃！
[Vertica][VJDBC](5156)：READ COMMITTED
[Vertica][VJDBC](5156) ERROR: Unavailable: initiator locks for query - Locking failure: Timed out X locking Table .Your current transaction isolation level is READ COMMITTED
解决方法：由于删除和插入/更新的事务互锁，将更新控件中提交记录数量由10000减少到1000，删除控件中的提交记录数量由1000减少到100。