现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，
hashcode = md5(str(item_url))然后在数据库中设置 hashcode 为UNIQUE索引3000条数据全部插入完毕，耗时是32s不使用MD5加密，耗时30秒。结论：去重对时间影响不大