zoukankan      html  css  js  c++  java
  • 【论文笔记】2019CVPR-Unsupervised learning of action classes with continuous temporal embedding

    任务

    action detection:先切割视频,然后聚类。

    motivation

    利用单个视频中,各个子动作之间存在时间顺序关系,比如在做咖啡的视频中,把咖啡倒进杯子里一般会发生在搅拌咖啡之前。

    基本流程

    这里只介绍基础版本。

    给一个视频数据集,每个视频都包含多个子动作,但所有视频主题相同。从中取出一个视频,假设该视频包含N帧,把该视频时间长度归一化,则视频中第n帧时间位置是:t=n/N. 用t作为训练标签

    网络模型如下图左1所示,是包含两层隐藏层的全连接神经网络。

    模型训练完成之后,取出每帧视频经过第二层后得到的feature,对这些feature聚类,聚成K类(K是怎么确定的?我暂未细究)。

    把这K类中每个feature对应的时间位置进行统计,每个类别内部取均值,按照均值把这些簇按时间顺序排列,如下图左2、3.

    但是上述流程得到的每帧的label不一定consistent,也就是可能上一帧是cluster1,下一帧是cluster2,再下一帧又是cluster1了,很零碎。为了让label更consistent,作者在文章的第3.4,3.5节用高斯分布拟合每帧属于哪一簇的概率分布,然后又最大化概率...等,具体我没去细究。

    数据集

    Breakfast,YouTube Instructions dataset,50Salads dataset

    聚类指标

    MoF,IoU

  • 相关阅读:
    python2的比较函数,cmp
    快速排序
    如果a,b,c为自然数,a+b+c=1000,a方+b方=c方,求出abc可能的组合(python实现)
    python之join
    python之functools partial
    Python 3 iter函数用法简述
    python线程之condition
    python 线程 event
    getattr getattribute setattr hasattr delattr
    Properties类
  • 原文地址:https://www.cnblogs.com/picassooo/p/13822784.html
Copyright © 2011-2022 走看看