问题--feed列表有新闻重复的问题

　　1. 经常有运营反应，客户端展示的feed列表有重复的问题。

　　重复问题分为两种，一种是两条新闻标题类似，另一种是两条新闻标题是完全相同。

　　（1）标题类似

　　原来过滤的逻辑，是两个标题完全相等，才认为两条新闻内容一样，后来改进了一下，比较两个标题的相度，如果相似度超过70%，那么就认为这是同一条新闻，如（北京今日降大雨，公交停运   and 北京降大雨，公交停运）这两条新闻

相似度超过了70%，那么就把其中的一条过滤掉，过滤的算法

public static double getSimilarity(String doc1, String doc2) {
        if (doc1 != null && doc1.trim().length() > 0 && doc2 != null
                && doc2.trim().length() > 0) {
             
            Map<Integer, int[]> AlgorithmMap = new HashMap<Integer, int[]>();
             
            //将两个字符串中的中文字符以及出现的总数封装到，AlgorithmMap中
            for (int i = 0; i < doc1.length(); i++) {
                char d1 = doc1.charAt(i);
                if(isHanZi(d1)){
                    int charIndex = getGB2312Id(d1);
                    if(charIndex != -1){
                        int[] fq = AlgorithmMap.get(charIndex);
                        if(fq != null && fq.length == 2){
                            fq[0]++;
                        }else {
                            fq = new int[2];
                            fq[0] = 1;
                            fq[1] = 0;
                            AlgorithmMap.put(charIndex, fq);
                        }
                    }
                }
            }
 
            for (int i = 0; i < doc2.length(); i++) {
                char d2 = doc2.charAt(i);
                if(isHanZi(d2)){
                    int charIndex = getGB2312Id(d2);
                    if(charIndex != -1){
                        int[] fq = AlgorithmMap.get(charIndex);
                        if(fq != null && fq.length == 2){
                            fq[1]++;
                        }else {
                            fq = new int[2];
                            fq[0] = 0;
                            fq[1] = 1;
                            AlgorithmMap.put(charIndex, fq);
                        }
                    }
                }
            }
             
            Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
            double sqdoc1 = 0;
            double sqdoc2 = 0;
            double denominator = 0; 
            while(iterator.hasNext()){
                int[] c = AlgorithmMap.get(iterator.next());
                denominator += c[0]*c[1];
                sqdoc1 += c[0]*c[0];
                sqdoc2 += c[1]*c[1];
            }
             
            return denominator / Math.sqrt(sqdoc1*sqdoc2);
        } else {
            throw new NullPointerException(
                    "比较过程发生异常");
        }
    }
 
    public static boolean isHanZi(char ch) {
        // 判断是否汉字
        return (ch >= 0x4E00 && ch <= 0x9FA5);
 
    }
 
    /**
     * 根据输入的Unicode字符，获取它的GB2312编码或者ascii编码，
     * 
     * @param ch
     *            输入的GB2312中文字符或者ASCII字符(128个)
     * @return ch在GB2312中的位置，-1表示该字符不认识
     */
    public static short getGB2312Id(char ch) {
        try {
            byte[] buffer = Character.toString(ch).getBytes("GB2312");
            if (buffer.length != 2) {
                // 正常情况下buffer应该是两个字节，否则说明ch不属于GB2312编码，故返回'?'，此时说明不认识该字符
                return -1;
            }
            int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始，因此减去0xA1=161
            int b1 = (int) (buffer[1] & 0x0FF) - 161; // 第一个字符和最后一个字符没有汉字，因此每个区只收16*6-2=94个汉字
            return (short) (b0 * 94 + b1);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return -1;
    }

这样就不会再出现标题类似的情况

　　（2）标题重复

　　为什么会标题重复？

　　　　数据库里抓取了两条相同的内容，查看了一下数据库，发现确实有标题相同的新闻。

　　为什么数据库会有标题相同的新闻？

　　　　查记录发现，两条相同的同容，相隔时间很短，这很可能是高并发造成的。多线程操作数据库引起的。

　　解决方案：

　　采用 生产者消费者 模式，多个生产者线程抓取数据，一个消费者线程消费数据，测试了一下，每个对象大小约为0.1075k 10000个大约是1M, ，所以我就给队列设置大小为10000，即就算队列里存了10000个对象所占内存也才1M，这完全可以接受。

消费者代码

    public static Logger logger = LoggerFactory.getLogger(SingleThreadTakeQueueTask.class);
    
    /*
     *  每个对象大小大约是0.1075k 10000个大约是1M,
     *  在测试环境中，120个接口，全部开始跑，feedQueue队列中，剩余未被消费的对象，最多的时候剩余量是24个，所以队列长度设置为10000
     *  是够用的
     */
    private static final Integer QUEUE_SIZE = 10000;
    public static BlockingQueue<FeedQueueBean> feedQueue = new  LinkedBlockingQueue<FeedQueueBean>(QUEUE_SIZE); 
    
    
    private FeedService feedService;
    private FeedBannerService feedBannerService;
    private FeedIconService feedIconService;
    
    public SingleThreadTakeQueueTask(){}
    
    
    public SingleThreadTakeQueueTask(FeedService feedService , FeedBannerService feedBannerService,
            FeedIconService feedIconService){
        this.feedService = feedService;
        this.feedBannerService = feedBannerService;
        this.feedIconService = feedIconService;
    }
    @Override
    public void run() {
        
         while(true){
             
                 
                logger.info("阻塞,等待读取队列==" , feedQueue.size());
                FeedQueueBean feedQueueBean = null;
                try {
                    feedQueueBean = feedQueue.take();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                    logger.error("feedQueueError:{} " , e.getLocalizedMessage());
                    continue;
                }
                
                logger.info("从队列取出 {}" , feedQueue.size());
                ArticleJsonBean bean = feedQueueBean.getArticleJsonBean();
                
                
                if(isFilterOut(bean)){
                    continue;
                }
                
                // 主表
                Long feedId = saveFeed(bean, bean.getPartner(), bean.getFeedCategory());
                if(feedId == null){
                    logger.info("保存feed发生异常");
                    continue;
                }
                logger.info("保存feed完成");
                
                
                // 保存banner
                FeedBanner feedBanner = feedQueueBean.getFeedBanner();
                saveBanner(feedId, feedBanner);
                logger.info("保存banner完成");
                
                // 保存icon
                List<FeedIcon> feedIcons = feedQueueBean.getFeedIcons();
                saveIconList(feedIcons,feedId);
                logger.info("保存icon完成");
                
                // 图片集合
                if(FeedTaskJob.SHOW_TYPE_PIC_SET == bean.getShow_type() 
                        && feedQueueBean.getFeedPicSetBanner() != null){
                    FeedBanner feedPicSetBanner = feedQueueBean.getFeedPicSetBanner();
                    saveBanner(feedId,feedPicSetBanner);
                }
                
                logger.info("保存set完成");
                
                // 白名单
                if (null != bean.getWhiteList() && bean.getWhiteList().intValue() == 1) {
                    try{
                        feedService.updateFeedStatus(feedId);
                        feedService.auditArticle(feedId, bean.getFeedCategory());
                    }catch(Exception e){
                        e.printStackTrace();
                        logger.error("updateError : {} " , e.getLocalizedMessage());
                    }
                    
                }
                logger.info("本次从队列取对象完成");
                //feedQueue.remove(feedQueueBean);
             
         }

    }
    
    private Long saveFeed(ArticleJsonBean bean, String partner, Long feedCategory) {
        Feed feed = new Feed();
        ExpandParam param = new ExpandParam();
        feed.setCreateTime(System.currentTimeMillis());
        param.setIsCaputer(1);
        param.setThirdUrl(bean.getUrl());
        param.setSource(bean.getAuthor_name()+"("+partner+")");
        bean.setShow_type(bean.getShow_type() == null ? 3 : bean.getShow_type());
        if(bean.getShow_type().intValue() == FeedTaskJob.SHOW_TYPE_PIC_SET){ //showtype是图片集合时，image_number必传
            param.setImageNumber(bean.getImage_number());
        }
        if(bean.getShow_type().intValue() == FeedTaskJob.SHOW_TYPE_VIDEO){ //showtype是视频时，时间必传
            param.setTime(bean.getTime());
        }
        
        JsonConfig config = new JsonConfig(); 
        config.setJsonPropertyFilter(new PropertyFilter() {
            @Override
            public boolean apply(Object source, String name, Object value) {
                if (value == null || "".equals(value)) {
                    return true;
                }
                return false;
            }
        });
        
        feed.setExpandParam(JSONObject.fromObject(param,config).toString());
        feed.setFeedCategory(feedCategory);
        if(StringUtils.isBlank(bean.getDesc())) {
            feed.setFeedDesc(bean.getTitle().trim().replace("
", ""));
        } else {
            feed.setFeedDesc(bean.getDesc().trim());
        }
        feed.setFeedType(bean.getShow_type() == null ? 3 : bean.getShow_type());
        feed.setFeedUrl(getHtml5Url(bean.getUrl()));
        feed.setFeedTitle(bean.getTitle().trim().replace("
", ""));
        feed.setStatus(0);
        feed.setPublishTime(System.currentTimeMillis());
        
        try{
            
            logger.info("组装feed对象over");
            int result = filterFeedColumnLength(feed);
            
            if(result == 1){
                feedService.saveFeed(feed);
                logger.info("保存feed对象over");
            }
            
            
            
        }catch(Exception e){
            e.printStackTrace();
            logger.error("error:{}" , e.getLocalizedMessage());
        }
        return feed.getId();
    }
    
    private int filterFeedColumnLength(Feed feed){
         
        if(feed == null ){
            return 0;
        }
        
        if(feed.getFeedTitle() != null){
            if(feed.getFeedTitle().length() >= 255){
                logger.info("title需要截取,url {} " , feed.getFeedTitle());
                feed.setFeedTitle(feed.getFeedTitle().substring(0,254));
                return 1;
            }
        }
        
        if(feed.getFeedDesc() != null){
            if(feed.getFeedDesc().length() >= 500){
                logger.info("desc需要截取,url {} " , feed.getFeedDesc());
                feed.setFeedDesc(feed.getFeedDesc().substring(0,499));
                return 1;
            }
        }
        
        if(feed.getExpandParam() != null){
            if(feed.getExpandParam().length() >= 1024){
                logger.info("expandParam需要截取,url {} " , feed.getExpandParam());
                feed.setExpandParam(feed.getExpandParam().substring(0,1023));
                return 0;
            }
        }
        
        if(feed.getFeedUrl() != null){
            if(feed.getFeedUrl().length() >= 100){
                logger.info("url需要截取,url {} " , feed.getFeedUrl());
                feed.setFeedUrl(feed.getFeedUrl().substring(0,99));
                return 0;
            }
        }
        return 1;
    }
    
    private String getHtml5Url(String urlString) {
        logger.info("文章地址:{}",urlString);
        String url = null;
        String fileFileName = System.currentTimeMillis() + "_feedStream.html";
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM/dd/");
        String path = sdf.format(new Date());
        String realpath = ConstantApp.getImageRealPathFeedStream() + path;
        File savefile = new File(new File(realpath), fileFileName); 
        String content = "<html>"+
                            "<body>"+
                            "</body>"+
                            "<script type='text/javascript'>"+
                            "    window.location='"+urlString+"';"+
                            "</script>"+
                         "</html>";
        
        try {
            FileUtils.writeStringToFile(savefile, content);
        } catch (IOException e) {
            logger.error("string转换为html出错:" ,e);
        }
        
        url = path + fileFileName;
        return url;
    }
    
    private void saveBanner(Long feedId , FeedBanner feedBanner){
        if(feedId == null || feedBanner == null){
            return;
        }
        feedBanner.setFeedId(feedId);
        logger.info("组装feedBanner over");
        try{
            feedBannerService.saveFeedBanner(feedBanner);
        }catch(Exception e){
            e.printStackTrace();
            logger.error("bannerError : {}" , e.getLocalizedMessage());
            return;
        }
        
        logger.info("保存feedBanner over");
    }
    
    
    private void saveIconList(List<FeedIcon> feedIcons , Long feedId){
        List<FeedIcon> feedIconsTmp = new ArrayList<FeedIcon>();
        for(FeedIcon feedIcon : feedIcons){
            if(feedIcon != null){
                feedIcon.setFeedId(feedId);
                feedIconsTmp.add(feedIcon);
            }
        }
        logger.info("组装feedIconList over");
        
        try{
            feedIconService.saveFeedIcons(feedIconsTmp);
        }catch(Exception e){
            e.printStackTrace();
            logger.error("iconError:{} " + e.getLocalizedMessage());
            return;
        }
        logger.info("保存feedIconList over");
    }

    private boolean isFilterOut(ArticleJsonBean bean) {
        if(null == bean){
            return true;
        }
        
        if(StringUtils.isBlank(bean.getThumbnail_pic_s())){
            return true;
        }
        if(StringUtils.isBlank(bean.getTitle())){
            return true;
        }
        if(StringUtils.isBlank(bean.getThumbnail_pic_small1())
                && StringUtils.isBlank(bean.getThumbnail_pic_small2())
                && StringUtils.isBlank(bean.getThumbnail_pic_small3())){
            return true;
        }
        for (String key : FeedTaskJob.KEY_WORLD) {
            if (bean.getTitle().contains(key)) {
                logger.info("包含特殊关键词:{}", key);
                return true;
            }
        }
        
        for (String title : FeedTaskJob.concurentTitleSet) {
            double similarStandard = CosineSimilarAlgorithm.getSimilarity(bean.getTitle(), title);
            if (similarStandard > 0.6d) {
                logger.info("已经存在该文章标题 ,title:{}", bean.getTitle());
                return true;
            }
        }
        if (FeedTaskJob.concurrentUrlSet.contains(bean.getUrl())) {
            logger.info("已存在url, title:{} , url:{}", bean.getTitle(),bean.getUrl());
            return true;
        }
        
        FeedTaskJob.concurentTitleSet.add(bean.getTitle());
        FeedTaskJob.concurrentUrlSet.add(bean.getUrl());
        return false;
    }