思享工具箱

OpenCV 2.4+ C++ 行人检测

摘要：
HOG特征描述符是Navneet Dalal和Bill Triggs在2005年介绍行人检测方法的论文中提到的特征描述符。有关SVM的简要介绍，请参阅OpenCV2.4+C++SVM文本识别。算法分析梯度计算在OpenCV2.4+C++边缘梯度计算中，介绍了Sobel算子和Scharr滤波器的梯度计算方法。然而，使用这些复杂方法的效果并不好。最好是使用简单的一维梯度算子：[-1,0,1]进行卷积计算，并分别计算x方向梯度Gx和y方向梯度Gy。检测窗口由块组成。C++：staticvector＜float＞gpu：：HOGDescriptor：：getDefaultPeopleDetector（）gpu：。通常为0，应通过检测器系数确定。

HOG特征描述

首先我们来了解一下HOG特征描述子。

HOG特征描述子（HOG descriptors）是由Navneet Dalal和 Bill Triggs在2005年的一篇介绍行人检测方法的论文提到的特征描述子（论文以及演讲可参见参考资料1、2）。

其主要思想是计算局部图像梯度的方向信息的统计值，来作为该图像的局部特征值。

OpenCV 2.4+ C++ 行人检测第1张

  • 如上图，归一化图像后，由于颜色数据对我们没有帮助，所以将图片转为灰度图。
  • 然后将图片分割成一定“块”数，称作细胞单元。
  • 计算每个细胞单元的梯度大小方向。
  • 得到每个单元的梯度方向组成一个图片的特征向量。
  • 将这个特征向量交给SVM来学习或辨认。

SVM的简单介绍可以参考：OpenCV 2.4+ C++ SVM文字识别。

算法分析

  • 梯度计算

 OpenCV 2.4+ C++ 边缘梯度计算中，介绍了Sobel算子和Scharr滤波器的梯度计算方法，但是论文作者使用这些复杂方法的效果并不好，最好的是使用简单的一维梯度算子：[-1, 0, 1]，进行卷积计算，分别算出x方向梯度Gx与y方向梯度Gy。然后利用下面两个公式计算梯度大小和方向：

　　　　G = \sqrt{ G_{x}^{2} + G_{y}^{2} }

　　　　OpenCV 2.4+ C++ 行人检测第3张

  •  平滑处理

 论文作者使用了高斯模糊进行平滑处理，结果效果变差了。其可能原因是：许多有用的图像信息是来自变化剧烈的边缘，而在计算梯度之前加入高斯滤波会把这些边缘滤除掉。

  •  细胞方向选择
  1. 细胞的统计方向，由细胞中的每一个像素点投票取得。
  2. 票箱是0 - PI（无向）角度范围平分为9个角度，即PI/9为每个票箱的角度范围。
  3. 每个投票像素点的投票权重，由其梯度幅值计算出来，可采用幅值本身（实验效果最佳），或者他的函数来表示这个权重。
  • 块 

局部关照变化或者前景和背景的对比变化，可能使梯度强度产生剧烈变化，但我们关注的不是这些信息，所以需要对这些信息弱化处理。利用数个细胞单元组成空间上连通的块。这样，HOG描述就成了由各个块所有细胞单元的直方图组成的一个向量，这些区域是互相重叠的。这样就减小了这些剧烈变化的影响。

OpenCV 2.4+ C++ 行人检测第4张

每个细胞是8*8个像素点，以四个细胞组成一个块。

OpenCV 2.4+ C++ 行人检测第5张

 再由块组成检测窗。

OpenCV 2.4+ C++ 行人检测第6张

  • 块向量归一化

最后是利用L2-norm或者L1-norm进行归一化。

设v是未被归一化的向量，| vk |是k阶范数，ε为任意小常数，当k=2时，L2-norm为：

　　　　OpenCV 2.4+ C++ 行人检测第7张

当k=1时，L1-norm为：

　　　　OpenCV 2.4+ C++ 行人检测第8张

还有一种归一化方式L2-Hys：

　　　　首先进行L2-norm，然后进行截短（即值被限制为v - 0.2v之间），然后再归一化。

HOGDescriptor API

gpu::HOGDescriptor::HOGDescriptor

创建HOG描述符和检测器。

C++: gpu::HOGDescriptor::HOGDescriptor(Size win_size=Size(64, 128), Size block_size=Size(16, 16), Sizeblock_stride=Size(8, 8), Size cell_size=Size(8, 8), int nbins=9, double win_sigma=DEFAULT_WIN_SIGMA, doublethreshold_L2hys=0.2, bool gamma_correction=true, int nlevels=DEFAULT_NLEVELS)
参数
  • win_size – 检测窗大小。需要和块的大小、步长匹配。
  • block_size – 块的大小。需要和细胞大小匹配。目前只支持(16,16)的大小。
  • block_stride – 块的步长，必须是细胞大小的整数倍。
  • cell_size – 细胞大小。目前只支持(8, 8)的大小。
  • nbins – 投票箱的个数。目前只支持每个细胞9个投票箱。
  • win_sigma – 高斯平滑窗口参数。
  • threshold_L2hys – L2-Hys归一化收缩率。
  • gamma_correction – 伽马校正预处理标志，需要或不需要。
  • nlevels – 检测窗口的最大数目。

gpu::HOGDescriptor::getDescriptorSize

返回分类所需的系数的数目。

C++: size_t gpu::HOGDescriptor::getDescriptorSize() const

gpu::HOGDescriptor::getBlockHistogramSize

返回块直方图的大小。

C++: size_t gpu::HOGDescriptor::getBlockHistogramSize() const

gpu::HOGDescriptor::setSVMDetector

设置线性SVM分类器的系数。

C++: void gpu::HOGDescriptor::setSVMDetector(const vector<float>& detector)

gpu::HOGDescriptor::getDefaultPeopleDetector

返回人的分类训练检测（默认的窗口大小）的默认系数。

C++: static vector<float> gpu::HOGDescriptor::getDefaultPeopleDetector()

gpu::HOGDescriptor::getPeopleDetector48x96

返回人的分类训练检测（48*96窗口大小）的系数。

C++: static vector<float> gpu::HOGDescriptor::getPeopleDetector48x96()

gpu::HOGDescriptor::getPeopleDetector64x128

返回人的分类训练检测（64*128窗口大小）的系数。

C++: static vector<float> gpu::HOGDescriptor::getPeopleDetector64x128()

gpu::HOGDescriptor::detect

在没有多尺度的窗口执行对象检测

C++: void gpu::HOGDescriptor::detect(const GpuMat& img, vector<Point>& found_locations, double hit_threshold=0, Sizewin_stride=Size(), Size padding=Size())
Parameters:
  • img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
  • found_locations – 检测出的物体的边缘。
  • hit_threshold – 特征向量和SVM划分超平面的阀值距离。通常它为0，并应由检测器系数决定。但是，当系数被省略时，可以手动指定它。
  • win_stride – 窗口步长，必须是块步长的整数倍。
  • padding – 模拟参数，使得CUP能兼容。目前必须是(0,0)。

gpu::HOGDescriptor::detectMultiScale

在多尺度窗口中执行对象检测。

C++: void gpu::HOGDescriptor::detectMultiScale(const GpuMat& img, vector<Rect>& found_locations, double hit_threshold=0, Size win_stride=Size(), Size padding=Size(), double scale0=1.05, int group_threshold=2)
参数
  • img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
  • found_locations – 检测出的物体的边缘。
  • hit_threshold – 特征向量和SVM划分超平面的阀值距离。通常它为0，并应由检测器系数决定。但是，当系数被省略时，可以手动指定它。
  • win_stride – 窗口步长，必须是块步长的整数倍。
  • padding – 模拟参数，使得CUP能兼容。目前必须是(0,0)。
  • scale0 – 检测窗口增长参数。
  • group_threshold – 调节相似性系数的阈值。检测到时，某些对象可以由许多矩形覆盖。 0表示不进行分组。

gpu::HOGDescriptor::getDescriptors

返回整个图片的块描述符。

C++: void gpu::HOGDescriptor::getDescriptors(const GpuMat& img, Size win_stride, GpuMat& descriptors, intdescr_format=DESCR_FORMAT_COL_BY_COL)
参数
  • img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
  • win_stride – 窗口步长，必须是块步长的整数倍。
  • descriptors – 描述符的2D数组。
  • descr_format –

    描述符存储格式：

    • DESCR_FORMAT_ROW_BY_ROW - 行存储。
    • DESCR_FORMAT_COL_BY_COL - 列存储。

这个函数主要用于分类学习。

检测代码

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/gpu/gpu.hpp>

#include <stdio.h>

using namespace cv;

int main(int argc, char** argv){
    Mat img;
    vector<Rect> found;

     img = imread(argv[1]);

    if(argc != 2 || !img.data){
        printf("没有图片\n");
        return -1;
    }

    HOGDescriptor defaultHog;
    defaultHog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());

    //进行检测
    defaultHog.detectMultiScale(img, found);

    //画长方形，框出行人
    for(int i = 0; i < found.size(); i++){
        Rect r = found[i];
        rectangle(img, r.tl(), r.br(), Scalar(0, 0, 255), 3);
    }

    
    namedWindow("检测行人", CV_WINDOW_AUTOSIZE);
    imshow("检测行人", img);

    waitKey(0);

    return 0;
}

这段代码虽然可以检测出行人，但是可能会出现，一个人身上有几个框框。例如下图左边的行人：

OpenCV 2.4+ C++ 行人检测第9张

所以我们需要对found进行筛选，把那些被嵌套的长方形去除。

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/gpu/gpu.hpp>

#include <stdio.h>

using namespace cv;

int main(int argc, char** argv){
    Mat img;
    vector<Rect> found, foundRect;

     img = imread(argv[1]);

    if(argc != 2 || !img.data){
        printf("没有图片\n");
        return -1;
    }

    HOGDescriptor defaultHog;
    defaultHog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());

    //进行检测
    defaultHog.detectMultiScale(img, found);

    //遍历found寻找没有被嵌套的长方形
    for(int i = 0; i < found.size(); i++){
        Rect r = found[i];

        int j = 0;
        for(; j < found.size(); j++){
            //如果时嵌套的就推出循环
            if( j != i && (r & found[j]) == r)
                break;
        }
        if(j == found.size()){
            foundRect.push_back(r);
        }
    }

    //画长方形，圈出行人
    for(int i = 0; i < foundRect.size(); i++){
        Rect r = foundRect[i];
        rectangle(img, r.tl(), r.br(), Scalar(0, 0, 255), 3);
    }

    
    namedWindow("检测行人", CV_WINDOW_AUTOSIZE);
    imshow("检测行人", img);

    waitKey(0);

    return 0;
}

PS：输入图片不能比检测窗还小，这样会抛出错误的。

参考资料

Histograms of Oriented Gradients for Human Detection . Navneet Dalal & Bill Triggs . 2005

Histograms of Oriented Gradients for Human Detection Talk . Navneet Dalal & Bill Triggs

OpenCV HOGDescriptor 参数图解 . Excalibur . 2011-03-11

标签：#图像梯度#归一化#梯度 | 浏览：163 | 发布日期：

免责声明：文章转载自《OpenCV 2.4+ C++ 行人检测》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇(Go)13.判断文件或者目录是否存在七 APPIUM Android 定位方式下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

深度神经网络识别图形图像的基本原理（转）

 摘要：本文将详细解析深度神经网络识别图形图像的基本原理。针对卷积神经网络，本文将详细探讨网络中每一层在图像识别中的原理和作用，例如卷积层(convolutional layer)，采样层(pooling layer)，全连接层(hidden layer)，输出层(softmax output layer)。针对递归神经网络，本文将解释它在在序列数据上表...

Histogram of Oriented Gridients(HOG) 方向梯度直方图

Histogram of Oriented Gridients，缩写为HOG，是目前计算机视觉、模式识别领域很常用的一种描述图像局部纹理的特征。这个特征名字起的也很直白，就是说先计算图片某一区域中不同方向上梯度的值，然后进行累积，得到直方图，这个直方图呢，就可以代表这块区域了，也就是作为特征，可以输入到分类器里面了。那么，接下来介绍一下HOG的具体原理和计...

DeepSpeed超大规模模型训练工具

DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员，开发了图灵自然语言生成模型( Turing-NLG)，在发表时，为世...

CS231N 数据预处理(data proprecessing)

原文链接：https://blog.csdn.net/weixin_38646522/article/details/79534677 一些数据预处理的标准方法有均值化数据和归一化数据。 零中心化的意义在上面已经详细的讲述了，这里就不在细讲。 归一化数据的意义在于让所有的特征都在相同的值域之内，并且让这些特征有相同的贡献。对于图像处理，在大部分情况下会进...

深度学习——卷积神经网络入门

传统神经网络： 　　是全连接形式，即样本的每个特征属性都通过所有的隐藏层节点映射，最后输出数据。由于是全连接，所以计算极为复杂，且模型不易学习。 卷积神经网络：卷积神经网络(Convolutional Neural Networks, CNN), CNN可以有效的降低反馈神经网络(传统神经网络)的复杂性，常见的CNN结构有LeNet-5、AlexNet、Z...

最优化 梯度 海塞矩阵

一、方向导数 limt->0f(x0+td)-f(x0) / t 存在 则该极限为f在x0处沿方向d的方向导数 记为 ∂ f/∂ d 下降方向： 方向导数∂ f/∂ d <0 ，则d为f在x0处的下降方向 二、梯度 对于向量x,若每个偏导数 ∂ f/∂ x(i) 都存在 则列向量为f在x处的梯度 记号 ▽f(x) 三、可微与梯度 可微则一定存在...

最新文章

随机推荐

思享工具箱导航