基于OpenCV的视频可视化模型研究

基于OpenCV的视频可视化模型研究

梁帅1孙维1戴书球2江晓宇2

1.中煤科工集团重庆研究院有限公司，重庆 40039；

2.中煤科工集团重庆智慧城市科技研究院有限公司，重庆 401121

摘要：目前OpenCV技术广泛用于计算机视觉处理等方面，本文采用OpenCV技术，在Python环境下，使用可视化分析的方式实现对视频数据进行分析以及二次处理，并生成可视化分析模型。在大量项目中使用这种模型之后的结果显示，本模型的应用能极大的减少视频分析的工作量。

关键字：计算机数据处理；OpenCV;可视化；分析模型

中图法分类号：TP37     文献标识码  A

1.引言

伴随计算机数据处理技术的发展，数据信息处理载体从最初的文字到现在的图像、声音甚至是视频数据处理，这些数据载体所包含的数据信息也越来越多。基于这种飞速的科技发展，诞生了一种名为计算机视觉处理的数据处理分支，简称OpenCV。

计算机视觉处理结合数理统计算法通常被用于目标检测和特征识别。对目标进行检测的算法大致分为三种：第一种是Harr+Adaboost算法，该算法的特点在于其检测结果取决于正负样本数量的多少，样本过少则结果不准；第二种是HOG+SVM算法，特点是计算局部图像梯度的方向信息的统计值，很难处理遮挡问题；第三种是DPM算法，特点是方法直观简单，缺点在于设计具有针对性，强工作量大。因此，本文设计了一种符合要求的图像处理可视化算法模型用于视频分析。

1.目标样品分析

1.1 梯度图计算

从数理分析和图像存储流格式分析可得图像中的像素点可以表示为二元离散函数f(x,y),而梯度图计算实际上就是对图像中每一个像素点的二元离散函数偏导。

该连续二元函数偏导数：

由于图像的内的像素表现为离散函数，因此△x不能趋于0且最小间隔为1，所以用中心差商：

在Python中采用Sobel算子算法：

Gx

Gy

理论上由Sobel算子只计算水平和垂直边缘值，因此可以采用自定义算子对原始算子进行增强计算。其优势在于边缘检测和高斯牛顿法实现光流追踪。

1.2 SVM训练

SVM(支持向量机)是最优秀的分类算法之一，对于最优分类面定义就是要求分类线能将两类正确的分开并且保存分类的间隔最大。SVM通过分析找到满足要求的超平面，将训练集中的数据点尽可能的远离分类线，使分类线的两侧的空白面积最大。

假设该训练数据

(),…, (),,y{-1,+1}

能被认为成一个超平面

将该数据进行归一化

分类间隔为 。

在svm模块中使用简单线性分类函数进行线性划分。SVM通过最大决策边界的边缘来控制模型的能力，结合梯度图为后续研究提供基础图像分析。

2. 特征提取

2.1 模板生成

该算法核心是对输入图片进行激励模板生成，通过对某个行为特征制作对应的激励模板。对边缘特征进行HOG特征提取能生成特征灰度图，将灰度图与原始图像进行卷积运算获取激励效果图。结合Harr算法特点，生成大量的正样本激励效果图和负样本激励效果图，整合DPM算法和Harr算法的优点，将激励特征由人工设计升级为深度学习样本自动识别，其优点在于节省了大量人工设计工作量，采用SVM向量机能有效地提升边界值的识别。

2.2 特征提取

本文通过最为直观的人脸特征提取来直观的展示该算法的优势，理论上说每一张图像内的人脸特征都类似于一个卷积核，每一种特征仅有一种对应的单值。在计算机存储中存储方式通常为01模式，同样在灰度图中对应为白色像素和黑色像素，将特征点用黑点进行表示，通常情况下特征值如下表1：

表1 特征值图

2.3 特征融合

先对特征点进行多层融合，在2.2章节的基础上训练预测器，正常情况下只有将人脸器官进行融合归一才能进行统一检测。这种方法在图像学算法中叫跳跃连接结构算法，这种算法有两种操作，分别是Concat和Add操作。Concat操作对多个特征融合链接，输入特征向量为ma和nb，输出特征向量(a+b)c；Add操作对多个特征进行向量组成并行复合向量，输入特征向量mn，输出特征向量c=m+xn,其中x是虚数单位。

2.4 分类回归

本文采用新的决策树算法LYS进行特征分类，首先假设样本特征一共有k个类别，其中第k个类别的概率为Pk，其概率分布基尼系数为：

通过输入融合特征值集，以及基尼系数的阈值，融合样本的个数最大值，输出决策树为T：

1)输入递归特征集，判断样本特征数量小于阈值，停止递归，返回子决策树；

2)计算特征集基尼系数，小于阈值停止递归，返回子决策树；

3)节点特征值特征集合基尼系数对比；

4)选取特征值x和特征值y为最小基尼系数，调整节点；

5)左右节点分别递归生成决策树。

2.4 可视化模型生成

理论上模型即结果，因此，基于特征模型的视频可视化模型生成可以分为以下三个步骤特征模型整合，视频流整合，可视化分析。通过Python环节进行开发环境整合，对

visualization模块为图像特征处理通过可视化模型分析，将模型进行二值化处理，

对比正负模型分析样本相似值见图2：

图2 相似值图

对比可得出结论，本可视化模型的特征识别率为95%。

3. 总结

基于上述算法推演以及在Python环境中的实际应用，在低延迟网络环境下验证算法可靠性，通过模型获得结果与实际观察数据对比，对算法模型进行误差修正。通过工程项目大量的现场视频流数据对算法模型的训练，优化视频多重压缩算法，获取最优压缩比，同时也通过深度机器学习算法优化可视化模型输出，进一步的提高了识别可视化模型的准确率。

通过本算法实现的视频可视化模型可得出结

论：

1）通过机器学习进行特征模板生成取代传统手动注释，提高了生成效率；

2）通过视频模型分析对比传统图像分析具有更直观的可视化模型展示；

3）通过优化的算法对特征识别精确率有进一步的提高。

参考文献

[1] 刘瑞祯,于仕琪.OpenCV教程.基础篇[M].北京航空航天大学出版社,2007.

[2] 刘姗姗.基于视频图像的人脸特征点定位技术研究[D].四川师范大学[2023-10-18].

[3]郭晖,陈光.基于OpenCV的视频图像处理应用研究[J].微型机与应用, 2010.21.005.

[4]贾小军,喻擎苍.基于开源计算机视觉库OpenCV的图像处理[J].计算机应用与软件, 2008

基金项目：中煤科工集团重庆智慧城市科技研究院有限公司自立项目(ZH2023YB05)

作者简介: 梁帅(1995－),男,湖北仙桃,初级，本科,研究方向：视频编解码、计算机视觉、大数据，E-mail:1500718964@qq.com.