为了方便管理和监测爬虫数据量,之前还要检查数据是否正确,现在已经基本稳定。在mysql中建立新表,记录爬虫每天的数据量。
数据库工具为datastudio,相对笨重的一个工具。
建立存储过程的过程
百度:mysql库建立存储过程语法
create procedure pro_name()
begin
sql
end
存储过程:
CREATE PROCEDURE `pro_spider_count` ()
begin
insert into spider_count(table_name,data_count,count_date) values('A',(select count(1) from TOP_AHSP_RENTAL),(select date_format(now(),'%Y-%m-%d')));
多条insert ... ...spider_table
insert into spider_count(table_name,data_count,count_date) values('B',(select count(1) from TOP_BDTBRESULT),(select date_format(now(),'%Y-%m-%d')));
end
在执行过程中,报错还有警告:
警告:--->
W (1): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PROCEDURE `pro_spider_count` ()
begin
insert into spider_count(table_name,da' at line 1
结论:
不清楚为什么,就是报错,最烦这个报错,发现第一行和最后一行都会错,但sql块一句一句的执行是对的。执行警告并报错后发现该存储过程依然可以执行。除sql语句块的第一行和最后一行错误不执行外,其他都执行,竟然是个跳过的动作,因此首尾两行各加一个sql语句,来保证中间我要统计的sql能够执行。