zoukankan      html  css  js  c++  java
  • (论文分析) Object Detection -- Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection

    Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection

    作者从人工绘制的边界图中提取关键信息,如straight line, junction, curves and parallel lines(见下图)

    作者将这些关键边界信息称之为sketch tokens,作者认为我们可以使用这些tokens来完成所有边界图的绘制。

    接下来,作者分析图像的边界信息是否可以由这些tokens来进行描述,如何来做呢?采用分类器,从而给出

    每一点属于某个token的概率。接下来我们详细分析,如何提取tokens,以及如何使用属于某个token的概率

    作为特征进行目标检测。

    定义sketch token 类别

    我们的目的就是要定义一系列token类别,使其能够代表在一副图像中存在的任意局部边界结构,其中包括straight lines, t-junctions, y-junctions,curves and parallel lines. 

    现假设我们有一系列图像以及其对应的手绘边界(人工绘制的边界信息)。我们依靠聚类从二值图中抽取的patches 来获得sketch token classes。从二值图抽取的patch  有一个固定的大小。除此之外,仅有那些在中心像素上含有边界的patchs被使用。接下来,必然是得到关于patch的特征描述,作者使用Daisy descriptors(在二值图上提取),然后使用k-means进行聚类,从而得到sketch token classes

    有了sketch token classes后,我们还需要做什么呢?不可否认,我们需要判断一副图像中每一点是否属于某个sketch token,如果属于某个token class,我们就可以认为这个点是边界点。

    在自然图像上抽取patch的特征

    作者使用分类器的思想来判断每个点是否应该是边界点。既然采用分类器,则必然涉及到特征提取。现在再次巩固一下概念,我们认为所有属于某个sketch tokenpatch是正样本,其余的是负样本,对于每个正样本patch在自然图像上提取特征,从而我们能够获得K 个分类器,每个分类器判断是否当前点属于这个分类器的sketch token

    patch 上的特征提取方式见论文。

    Contour detection

    现在我们已经有K个分类器,用于判断每个像素点是否属于某个sketch token。如果patch属于token 概率。并且是属于"no contour" 类别的概率,从而某个patch 的中心点处含有一个 contour 的概率是:

    然后使用非极大值抑制机制来发现一个边界。

    Object detection

    使用sketch token作为附加特征进行object detection

    参考文献

    Joseph J.Lim Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection

  • 相关阅读:
    kubernetes入门之kube-proxy实现原理
    kubernetes源码阅读及编译
    docker的网络-Container network interface(CNI)与Container network model(CNM)
    kubernetes入门之skydns
    浅析flannel与docker结合的机制和原理
    kubernetes入门之快速部署
    python并发获取snmp信息及性能测试
    Facebook开源的基于SQL的操作系统检测和监控框架:osquery daemon详解
    Facebook开源的基于SQL的操作系统检测和监控框架:osquery Table详解
    视频工具类产品是个什么玩意,产品经理怎么构思一款视频工具类产品
  • 原文地址:https://www.cnblogs.com/jian-hello/p/3552096.html
Copyright © 2011-2022 走看看