基于视频的目标检测调研 2017-10-25

摘要:
其处理帧速率约为10 fps。帧速率可达20-30fps,需要根据检测精度进行权衡。FGFA方法是在某些中间帧的特征不明显时,通过融合前后帧的特征来获得当前帧的特征图,以提高检测效果。
视频目标检测调研

1.主要问题:

与图像目标检测的主要区别是:

  • 视频信息具有大量冗余,这些冗余会如果能合理的利用或者去除,会大大提高处理速度;
  • 视频信息中的目标经常会出现变形、遮挡、模糊,这会导致检测结果的不稳定,出现漏检。

2.基本方法:

- 基于单帧图像的

- 结合上下文和时间信息的:

  • 双流法
  • 三维卷积
  • 基于流特征的
  • LSTM

3.基于单帧图像的视频检测方法

基于单帧的视频图像处理方法目前已经研究的很多。主流的方法有R-CNN的系列方法,如:Faster R-CNN;基于回归的方法,如YOLO、SSD。具体特点不详述。

4.结合上下文和时间信息的方法

4.1双流法:T-CNN

对图像的处理在中间分为两个流程:一个流程处理单帧图像信息;一个流程处理时间图像信息。其思想是将检测和追踪结合起来,将已有的方法结合起来了。其处理帧率约在10fps左右。
T-CNN

4.2三维卷积方法:C3D

将视频图像流作为图像处理整体,使用三维卷积对其做深度学习,将空域特征和时域特征同时提取,该方法相比传统的2D方法,能有效的利用时间信息来增加区分度,效率有明显的提高,基于VGG系列的网络帧率可达到313FPS。

4.3基于流特征的方法:DFF和FGFA

基于流特征的方法挺多,这里说的方法是MSRA(MicroSoft Research Asia)提出的两种方法Deep Feature Flow(深度特征流)和Flow Guide Feature Aggregate(流指导特征融合)。
DFF方法是对关键帧做特征提取,其他帧没有特征提取网络,只运行任务网络。以此通过流特征来节省处理时间。其帧率可达到20-30fps,需要根据检测精度做权衡。
DFF
FGFA方法是在部分中间帧的特征不明显时,使用前后帧的特征进行融合来获取当前帧的特征图,以此来提高检测效果。其帧率在25-30fps左右。
FGFA

4.4基于长短程记忆的方法:LSTM

我还没有仔细研究,基本原理可能是引入了记忆模块,可以用短程甚至长程的特征来辅助当前帧进行快速特征提取。

免责声明:文章转载自《基于视频的目标检测调研 2017-10-25》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇MongoDB在linux下的启动MySQL数据库运维的五大指标下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

多尺度理论及图像特征(一)

1.尺度    2.尺度研究的问题       1)尺度在空间模式和地表过程检测中的作用以及尺度对环境建模的冲击;        2)尺度域(尺度不变范围)和尺度阈值的识别;        3)尺度转换,尺度分析和多尺度建模放的实现。 3.遥感尺度的问题        遥感尺度主要关注的是测量尺度,不同来源的遥感信息数据在时间尺度和空间尺度上都有很大的差...

小目标检测的增强算法

小目标检测的增强算法 Augmentation for small object detection 摘要 近年来,目标检测取得了令人瞩目的进展。尽管有了这些改进,但在检测小目标和大目标之间的性能仍有很大的差距。本文在一个具有挑战性的数据集上分析了当前最先进的模型Mask RCNN,MS COCO。结果表明,小真实目标与预测锚之间的重叠度远低于期望的IoU...

【工程应用一】 多目标多角度的快速模板匹配算法(基于NCC,效果无限接近Halcon中........)

       愿意写代码的人一般都不太愿意去写文章,因为代码方面的艺术和文字中的美学往往很难兼得,两者都兼得的人通常都已经被西方极乐世界所收罗,我也是只喜欢写代码,让那些字母组成美妙的歌曲,然后自我沉浸在其中自得其乐。而今天,在清明之际,在踏青时节,我还是忍不住停下来歇歇脚,稍微共享一下最近一直研究的一个非常基础的算法和应用 - 多目标多角度的模板匹配。...

基于CNN的人群密度图估计方法简述

人群计数的方法分为传统的视频和图像人群计数算法以及基于深度学习的人群计数算法,深度学习方法由于能够方便高效地提取高层特征而获得优越的性能是传统方法无法比拟的。本文简单了秒速了近几年,基于单张图像利用CNN估计人群密度图和计数的方法。 传统的人群计数方法传统的人群计数方法可以分为两类,基于检测的方法和基于回归的方法。 基于检测的方法早期的计数方法主要...

Android开发 Camera2的CaptureRequest属性整理--完善中

前言如果你想深入了解如何控制Camera2的各种效果配置你一定要了解CaptureRequest的各种属性的意义,此博客记录一些Camera2的CaptureRequest属性值的个人理解解释与官方注解翻译。如有错误理解请指出说明。我对Camera的研究并不是很深入。(贫穷没有进入过玩单反境界) CONTROL_AE 控制曝光组CONTROL_AE_LOC...

基于深度学习的视觉实例搜索研究进展

原文:http://chuansong.me/n/543805151251 近些年,深度学习在各种计算机视觉任务上都取得了重大的突破,其中一个重要因素就是其强大的非线性表示能力,能够理解图像更深层次的信息。本文对基于深度学习的视觉实例搜索方法做了简单的总结和概括,希望能给读者们带来启发。前言给定一张包含某个物体的查询图片,视觉实例搜索的任务就是从候选的图片...