基于DTW的人体行为模式识别算法

基于 DTW的人体行为模式识别算法

王海屹 1 史添玮 1 任玲 2 陈桂岩 1 冯鑫 1 高东阳 1 郭颖 1

1 辽宁科技大学计算机与软件工程学院 , 辽宁 鞍山 114051 2 辽宁科技大学创新创业学院 , 辽宁 鞍山 114051

摘要：随着摄像头等监视工具的应用，人体行为模式识别受到广泛的关注。人体行为模式识别主要面临着识别精度以及实时性的问题，本文提出了基于动态时间规整的人体行为模式识别算法，能够准确的识别出人体行为，相比于模板匹配算法有很大的提升。

关键词：DTW；人体行为；识别算法

目前，人体行为识别的方法大体上有2种.1) 基于概率统计的方法:利用隐马尔科夫模型对人体行为识别进行研究.Pavlovie等，提出了一种基于动态贝叶斯网络的开关线性动态系统 (Switch Linear Dynamic System) 模型并应用到了人体行为识别当中.2) 基于模板的方法:通过动态规划算法将视频中的动作序列和模板库中的动作序列进行相似度匹配，进而实现动作的分割。将动态时间规整 (DTW) 应用到人体行为识别中。

动态时间规整 (Dynamic Time Warping，DTW) 当中一个重要的衡量尺度便是其中的相似度算法，目前在基于Kinect的人体行为识别的研究中大多数采用欧氏距离 (Euclidean Distance) 作为其相似度算法。采用卡方检验法代替欧氏距离进行人体行为识别。这些做法同等地对待每一维度的数据，将每个骨骼向量的夹角看作是独立的，完全忽视了各个维度之间的相关性.针对这一问题，本文将马氏距离 (Mahalanobis distance) 相似度算法应用到人体行为识别中，克服了骨骼向量间不相关影响匹配结果的问题。

1 模板匹配

模板匹配就是把不同传感器 (通常是摄像头) 或同一传感器在不同时间和环境下对固定场景拍摄的两幅或多幅图像进行处理，并将图像规整到统一的空间尺度，在相同尺度空间中查找对应模式的方法。本文中的DTW就是一种添加了时序约束的模板匹配方法。

模板匹配算法的基本思想:首先根据已知视频序列生成模板，然后对模板与图像对应区域进行相似性度量，相似性超过给定阈值就认为匹配，否则就匹配失败。模板匹配需要大量计算模板间的相似性，因此需要在匹配过程中选择合适的相似性度量公式和匹配方法，从而提高算法的整体效率。

2 行为学习

将不同人的行走、奔跑、跳跃等不同动作利用轮廓提取算法，得到多组轮廓后，分类存储，每一个视频动作序列都可以使用一组数据来表示，通过数据的变化来反映该动作的姿态变化，从而描述一个动作。在学习过程中，学习样本越多，得到的模板数据就更准确，模板匹配的概率就越大，但随之而来的是计算时间的加长。图1反映的是人体不同动作模式下的姿态数据变化趋势。

3 相似性度量

表1:算法准确性比较

匹配比对算法离不开相似性度量，需要使用“距离”的概念来衡量两组数据的相似度，应用较为广泛的距离描述方式主要有:切比雪夫距离、欧氏距离、信息熵和夹角余弦等，需要根据不同需求采取相应的描述方法。

本文中算法考虑到算法的运行效率，采取向量夹角余弦来进行距离度量，对应公式如下

其中x1k，x2k分别表示向量的坐标。两组向量夹角越小，余弦值越大，相似度越高，通过使用夹角余弦的计算方法，极大降低了算法的时间和空间复杂度，提高了算法的计算速度效率。

4 动态时间规整

使用模板匹配算法进行行为识别虽然比较简单，但是算法执行过程中会由于视频序列的时长不同产生误差，而且行为持续的时间也会对识别效果产生影响，因此本文提出了基于动态时间规整DTW (Dynamic Time Warping) 算法来解决时序性的影响，只要时间次序约束存在，模板间的动作时间序列即便不一致，也不会影响算法的结果，提高了算法对时间序列的鲁棒性。

本文提出的人体行为识别算法主要步骤描述如下:

(1) 将学习样本按动作分成不同小组，并且按顺序编号，每个小组学习了若干个人的动作数据.

(2) 使用DTW计算待测数据的第一帧与第一组中第一个动作数据的所有帧的相似性，找到相似度最高的一帧并记录相似度度量值.

(3) 等间隔采样若干帧，重复步骤 (2) ，求出所有相似性度量值的平均值并记录.

(4) 把待测数据采用步骤 (2) (3) 方法，计算其他小组的相似性平均值.

(5) 比对待测数据与各组相似性平均值的大小，取最大的作为本次分类结果，分类识别完成.

本文算法将动态时间规整与模板匹配算法相结合，在学习阶段生成模板，识别过程中使用动态时间规整提高识别准确性。

5 实验结果

本文使用网上的数据集，包含基本的人体行为类别，行走，奔跑，跳跃，挥手，跳远等动作，通过数据集进行模板生成与动作识别。本文算法与模板匹配算法的准确度比较如表1。

图1:人体姿态变化趋势图

通过表1可知，在对上述的人体动作进行识别时，本文的算法准确性要优于模板匹配方法，而且识别准确度受到人体行为的复杂度以及动作幅度的影响，简单的人体行为，如行走、挥手，识别的准确性较高，而在奔跑，跳跃，跳远等较为复杂的行为中，识别的准确性就较差。

6 总结

本文提出了基于动态时间规整的人体行为识别算法，相比于传统的模板识别算法，本文算法的准确性更高。但在处理十分复杂的人体行为时，本文算法的准确性并不明显，需要进一步的研究与优化。

项目编号：X202010146511，该项目由辽宁科技大学大学生创新创业训练计划项目经费支持

参考文献

[1]邵延华，郭永彩，高潮.基于特征融合的人体行为识别[J].光电子激光，2014，25 (09) :1818-1823.

[2]史东承，冯占君.视频中人体行为分析[J].吉林大学学报 (信息科学版) ，2014 (05) :521-527.

[3]赵海勇.基于视频流的运动人体行为识别研究[D].西安电子科技大学，2011:15-18.