一个数据库中数据求差集需求的处理过程

原始需求：db 1中有一批记录，要求如果记录在db 2 和 db 3中不存在，删除db 1中的记录

解决步骤：

     1. 执行脚本，从DB中导出id

rm ./id.txt
i=0
while(($i<100))
do
mysql -hxxx -uxxx -pxxx dbname --skip-column-names --default-character-set=utf8 -se "select id from t_xxx wherexxx" >>./id.txt;
i=$(($i+1))
done

2. 合并id

cat db2.txt >> merge.txt

cat db3.txt>> merge.txt

cat merge.txt | sort| uniq >> merge2.txt

3. 求差集，注意这句的意思，后面的文件中的id，去掉前面文件中存在的id

grep -F -v -f merge2.txt db1.txt >> result_delete.txt

4. 通过编辑工具把 result_delete.txt中的id变成sql用;和换行分开

insert into t_xxx (c_id) values ('xxxx1111ffff');
insert into t_xxx(c_id) values ('xxxx1111gggg');

执行sql，搞定

mysql -h10.6.207.60 -uuser_qqlive -pqqlive d_v_idx --skip-column-names --default-character-set=utf8 < test.sql