700字范文 > SVM分类器训练的HOG行人检测

SVM分类器训练的HOG行人检测

时间：2020-02-08 18:53:37

相关推荐

SVM分类器训练的HOG行人检测

正样本来源是INRIA数据集中的96*160大小的人体图片，使用时上下左右都去掉16个像素，截取中间的64*128大小的人体。

负样本是从不包含人体的图片中随机裁取的，大小同样是64*128(从完全不包含人体的图片中随机剪裁出64*128大小的用于人体检测的负样本)。

SVM使用的是OpenCV自带的CvSVM类。

首先计算正负样本图像的HOG描述子，组成一个特征向量矩阵，对应的要有一个指定每个特征向量的类别的类标向量，输入SVM中进行训练。

训练好的SVM分类器保存为XML文件，然后根据其中的支持向量和参数生成OpenCV中的HOG描述子可用的检测子参数，再调用OpenCV中的多尺度检测函数进行行人检测。

难例(Hard Example)是指利用第一次训练的分类器在负样本原图(肯定没有人体)上进行行人检测时所有检测到的矩形框，这些矩形框区域很明显都是误报，把这些误报的矩形框保存为图片，加入到初始的负样本集合中，重新进行SVM的训练，可显著减少误报。

用训练好的分类器在负样本原图上检测Hard Example见：用初次训练的SVM+HOG分类器在负样本原图上检测HardExample

Navneet Dalal在CVPR上的HOG原论文翻译见：/masibuaa/article/details/14056807

[cpp]view plaincopy#include<iostream>#include<fstream>#include<opencv2/core/core.hpp>#include<opencv2/highgui/highgui.hpp>#include<opencv2/imgproc/imgproc.hpp>#include<opencv2/objdetect/objdetect.hpp>#include<opencv2/ml/ml.hpp>usingnamespacestd;usingnamespacecv;#definePosSamNO2400//正样本个数#defineNegSamNO12000//负样本个数#defineTRAINfalse//是否进行训练,true表示重新训练，false表示读取xml文件中的SVM模型#defineCENTRAL_CROPtrue//true:训练时，对96*160的INRIA正样本图片剪裁出中间的64*128大小人体//HardExample：负样本个数。如果HardExampleNO大于0，表示处理完初始负样本集后，继续处理HardExample负样本集。//不使用HardExample时必须设置为0，因为特征向量矩阵和特征类别矩阵的维数初始化时用到这个值#defineHardExampleNO4435//继承自CvSVM的类，因为生成setSVMDetector()中用到的检测子参数时，需要用到训练好的SVM的decision_func参数，//但通过查看CvSVM源码可知decision_func参数是protected类型变量，无法直接访问到，只能继承之后通过函数访问classMySVM:publicCvSVM{public://获得SVM的决策函数中的alpha数组double*get_alpha_vector(){returnthis->decision_func->alpha;}//获得SVM的决策函数中的rho参数,即偏移量floatget_rho(){returnthis->decision_func->rho;}};intmain(){//检测窗口(64,128),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9HOGDescriptorhog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG检测器，用来计算HOG描述子的intDescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定MySVMsvm;//SVM分类器//若TRAIN为true，重新训练分类器if(TRAIN){stringImgName;//图片名(绝对路径)ifstreamfinPos("INRIAPerson96X160PosList.txt");//正样本图片的文件名列表//ifstreamfinPos("PersonFromVOCList.txt");//正样本图片的文件名列表ifstreamfinNeg("NoPersonFromINRIAList.txt");//负样本图片的文件名列表MatsampleFeatureMat;//所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数MatsampleLabelMat;//训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有人，-1表示无人//依次读取正样本图片，生成HOG描述子for(intnum=0;num<PosSamNO&&getline(finPos,ImgName);num++){cout<<"处理："<<ImgName<<endl;//ImgName="D:\\DataSet\\PersonFromVOC\\"+ImgName;//加上正样本的路径名ImgName="D:\\DataSet\\INRIAPerson\\INRIAPerson\\96X160H96\\Train\\pos\\"+ImgName;//加上正样本的路径名Matsrc=imread(ImgName);//读取图片if(CENTRAL_CROP)src=src(Rect(16,16,64,128));//将96*160的INRIA正样本图片剪裁为64*128，即剪去上下左右各16个像素//resize(src,src,Size(64,128));vector<float>descriptors;//HOG描述子向量pute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵if(0==num){DescriptorDim=descriptors.size();//HOG描述子的维数//初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMatsampleFeatureMat=Mat::zeros(PosSamNO+NegSamNO+HardExampleNO,DescriptorDim,CV_32FC1);//初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有人，0表示无人sampleLabelMat=Mat::zeros(PosSamNO+NegSamNO+HardExampleNO,1,CV_32FC1);}//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(inti=0;i<DescriptorDim;i++)sampleFeatureMat.at<float>(num,i)=descriptors[i];//第num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num,0)=1;//正样本类别为1，有人}//依次读取负样本图片，生成HOG描述子for(intnum=0;num<NegSamNO&&getline(finNeg,ImgName);num++){cout<<"处理："<<ImgName<<endl;ImgName="D:\\DataSet\\NoPersonFromINRIA\\"+ImgName;//加上负样本的路径名Matsrc=imread(ImgName);//读取图片//resize(src,img,Size(64,128));vector<float>descriptors;//HOG描述子向量pute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(inti=0;i<DescriptorDim;i++)sampleFeatureMat.at<float>(num+PosSamNO,i)=descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num+PosSamNO,0)=-1;//负样本类别为-1，无人}//处理HardExample负样本if(HardExampleNO>0){ifstreamfinHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample负样本的文件名列表//依次读取HardExample负样本图片，生成HOG描述子for(intnum=0;num<HardExampleNO&&getline(finHardExample,ImgName);num++){cout<<"处理："<<ImgName<<endl;ImgName="D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\"+ImgName;//加上HardExample负样本的路径名Matsrc=imread(ImgName);//读取图片//resize(src,img,Size(64,128));vector<float>descriptors;//HOG描述子向量pute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(inti=0;i<DescriptorDim;i++)sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i)=descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0)=-1;//负样本类别为-1，无人}}输出样本的HOG特征向量矩阵到文件//ofstreamfout("SampleFeatureMat.txt");//for(inti=0;i<PosSamNO+NegSamNO;i++)//{//fout<<i<<endl;//for(intj=0;j<DescriptorDim;j++)//fout<<sampleFeatureMat.at<float>(i,j)<<"";//fout<<endl;//}//训练SVM分类器//迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代CvTermCriteriacriteria=cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS,1000,FLT_EPSILON);//SVM参数：SVM类型为C_SVC；线性核函数；松弛因子C=0.01CvSVMParamsparam(CvSVM::C_SVC,CvSVM::LINEAR,0,1,0,0.01,0,0,0,criteria);cout<<"开始训练SVM分类器"<<endl;svm.train(sampleFeatureMat,sampleLabelMat,Mat(),Mat(),param);//训练分类器cout<<"训练完成"<<endl;svm.save("SVM_HOG.xml");//将训练好的SVM模型保存为xml文件}else//若TRAIN为false，从XML文件读取训练好的分类器{svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(误报少了漏检多了).xml");//从XML文件读取训练好的SVM模型}/*************************************************************************************************线性SVM训练完成后得到的XML文件里面，有一个数组，叫做supportvector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同supportvector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。***************************************************************************************************/DescriptorDim=svm.get_var_count();//特征向量的维数，即HOG描述子的维数intsupportVectorNum=svm.get_support_vector_count();//支持向量的个数cout<<"支持向量个数："<<supportVectorNum<<endl;MatalphaMat=Mat::zeros(1,supportVectorNum,CV_32FC1);//alpha向量，长度等于支持向量个数MatsupportVectorMat=Mat::zeros(supportVectorNum,DescriptorDim,CV_32FC1);//支持向量矩阵MatresultMat=Mat::zeros(1,DescriptorDim,CV_32FC1);//alpha向量乘以支持向量矩阵的结果//将支持向量的数据复制到supportVectorMat矩阵中for(inti=0;i<supportVectorNum;i++){constfloat*pSVData=svm.get_support_vector(i);//返回第i个支持向量的数据指针for(intj=0;j<DescriptorDim;j++){//cout<<pData[j]<<"";supportVectorMat.at<float>(i,j)=pSVData[j];}}//将alpha向量的数据复制到alphaMat中double*pAlphaData=svm.get_alpha_vector();//返回SVM的决策函数中的alpha向量for(inti=0;i<supportVectorNum;i++){alphaMat.at<float>(0,i)=pAlphaData[i];}//计算-(alphaMat*supportVectorMat),结果放到resultMat中//gemm(alphaMat,supportVectorMat,-1,0,1,resultMat);//不知道为什么加负号？resultMat=-1*alphaMat*supportVectorMat;//得到最终的setSVMDetector(constvector<float>&detector)参数中可用的检测子vector<float>myDetector;//将resultMat中的数据复制到数组myDetector中for(inti=0;i<DescriptorDim;i++){myDetector.push_back(resultMat.at<float>(0,i));}//最后添加偏移量rho，得到检测子myDetector.push_back(svm.get_rho());cout<<"检测子维数："<<myDetector.size()<<endl;//设置HOGDescriptor的检测子HOGDescriptormyHOG;myHOG.setSVMDetector(myDetector);//myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());//保存检测子参数到文件ofstreamfout("HOGDetectorForOpenCV.txt");for(inti=0;i<myDetector.size();i++){fout<<myDetector[i]<<endl;}/**************读入图片进行HOG行人检测******************///Matsrc=imread("00000.jpg");//Matsrc=imread("_000423.jpg");Matsrc=imread("1.png");vector<Rect>found,found_filtered;//矩形框数组cout<<"进行多尺度HOG人体检测"<<endl;myHOG.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2);//对图片进行多尺度行人检测cout<<"找到的矩形框个数："<<found.size()<<endl;//找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,则取外面最大的那个矩形框放入found_filtered中for(inti=0;i<found.size();i++){Rectr=found[i];intj=0;for(;j<found.size();j++)if(j!=i&&(r&found[j])==r)break;if(j==found.size())found_filtered.push_back(r);}//画矩形框，因为hog检测出的矩形框比实际人体框要稍微大些,所以这里需要做一些调整for(inti=0;i<found_filtered.size();i++){Rectr=found_filtered[i];r.x+=cvRound(r.width*0.1);r.width=cvRound(r.width*0.8);r.y+=cvRound(r.height*0.07);r.height=cvRound(r.height*0.8);rectangle(src,r.tl(),r.br(),Scalar(0,255,0),3);}imwrite("ImgProcessed.jpg",src);namedWindow("src",0);imshow("src",src);waitKey();//注意：imshow之后必须加waitKey，否则无法显示图像/******************读入单个64*128的测试图并对其HOG描述子进行分类*********************/读取测试图片(64*128大小)，并计算其HOG描述子MattestImg=imread("person014142.jpg");//MattestImg=imread("noperson000026.jpg");//vector<float>descriptor;//pute(testImg,descriptor,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//MattestFeatureMat=Mat::zeros(1,3780,CV_32FC1);//测试样本的特征向量矩阵将计算好的HOG描述子复制到testFeatureMat矩阵中//for(inti=0;i<descriptor.size();i++)//testFeatureMat.at<float>(0,i)=descriptor[i];用训练好的SVM分类器对测试图片的特征向量进行分类//intresult=svm.predict(testFeatureMat);//返回类标//cout<<"分类结果："<<result<<endl;system("pause");}

结果：

(1) 1500个INRIA正样本，2000个负样本，结果误报太多：

(2) 2400个INRIA正样本，12000个负样本，结果表明负样本增多后误报明显减少，但依然有不少误报：

(3)2400个INRIA正样本，12000个负样本 + 4435个用(2)中的分类器在负样本原图上检测出来的Hard Example，

结果误报明显减少，几乎没有误报了，但同时漏检率增加：

上图中的两个小女孩都没有被检测出来

(4)下面是OpenCV中HOG检测器的默认SVM参数的结果，OpenCV自带的SVM参数也是用INRIA数据集训练得到的：

上图中的两个小女孩用OpenCV默认SVM参数也检测不出来。

所以感觉要想效果好的话，还应该加大正样本的个数。

参考：/carson/article/details/7841443

源码下载，环境为VS + OpenCV2.4.4

/detail/masikkk/6547973