摘要：深度卷积神经网络在静态图像识别领域应用范畴不断拓展，但在行为视频建模运动上不占优势，运动信息是行为最显著的特征，本文提出应用时空域深度卷积神经网络的建议，并进行实验探究与分析。结果表明，该网络能实现对行为视频的精确分类，同时和最近几年中发展起到的几种算法相比较，体现出一定优越性。

关键词：时空域;深度卷积神经网络

中图分类号：TP391.41 文献标识码：A 文章编号：1672-1578（2019）02-0267-01

以视频资料为载体对人类行为方式进行学习，是一类难度相对较大的机器视觉任务，最近几年受到研究人员的重视。静态图像识别只需对一张图像中的静态特点进行学习，行为识别目的是对帧与帧间的运动特点进行学习，以上学习过程需要分析空间域中相邻像素间的相关性，以及时间域上相邻帧之间的关系，这是时空域深度卷积神经网络提出与应用的直接动力，基于此本文展开较为详细的探究与分析。

1.时空域深度卷积神经网络

在三维空间中，当个体运动轨迹被映射到摄像机的二维底片上时，三维运动信息将会被转换为相邻帧间的二维图像，人们通常采用探究二维空间上的变换关系去学习三维空间上呈现出的运动信息。针对相邻帧x与Y，其间存在的变化关系可以用Y=LX表示，L代表变换矩阵，其均可应用正交矩阵去表示…。因为离散傅里叶变换的基函数属于复数，故此可以将x与Y投射至傅里叶基函数对上，进而确定D。基于此，可对空域深度卷积神经网络结构做出如下规划：先把与每个帧相对应的卷积核（或滤波器）分为二组，经训练活动后，组间基本上会建设傅里叶基函数对，在该层面上形成的滤波器响应又被叫做特征映射，后续层把与之相匹配的不同帧特征映射两两求积与求和，进而同步获得建模运动信息和静态图像内容特征，最后把获得的特征进行空域池化处理，以减少或规避图像形变引起的噪音。

2.行为识别模型

2.1行为矩阵c：不同类型行为信息对应的数量，T：测试序列的长度，0：输出的向量，h.：模型的输出，概率最高的类型被作为最后的分类结果。

3.实验方法

为检测本文算法在行为识别方面的有效性，提出在MSR-Action3D数据库上进行测试的建议。实验过程中应用留一法，把部分样本排除后进行训练，继而对排除的样本进行检测。Ubuntul6.04为实验应用的系统环境，Tensor Flow为算法运行的框架。

MSR-Action3D数据库属于一个深度行为序列数据库，含有20个类型的行为，各个行为由10个对象分别运行三次，每一视频序列的帧率为15帧/s，深度图的分辨率为640×640。纳入本次研究的样本共有23760帧，400个行为样本。数据库中的行为涵盖了肢体的各种运动组合，当某一动作由单侧肢体完成时，实验者会在实验过程中交替应用不同侧肢发出相应的行为信息。此外，该数据可还提供了与深度图像相对应的行为点序列样本，每个行为点的信息由（u，v，d，c）四部分构成，u、v对应屏幕坐标，d表示深度，c对应的是可信指数。每个帧中的行为向量含有20个点，不同动作序列的长度有别。为方便计算，本次研究应用固定采样数法采集初始样本，进而促进每个动作序列所包含帧数的统一性。为规避卷尺计算期间样本尺度过小而造成不能计算的问题，可采用行列元素复制方法对输入样本特征图进行适量拓展。拓展方法的应用，有益于为实验研究提供更多的行为向量中不同帧之间的相邻关系。本次研究讨论了Multi-layer Perception、Deep LSTM十Co-occurrence、Hierarchi-cal RNN在数据库中准确率，分别为74.5%、82.2%、81.0%。在对以上测试结果进行分析后，发现不同方法的准确率无明显差异，这可能是由训练资源不充分造成的，若能为数据库分析搭建更高性能的服务器作为训练平台，那么将会获得更为优秀的结果。此外，训练过程中为保证卷积参数所需内存空间在可接受范畴中，若采用大量删减识别模型参数的方法，会造成最后的识别效果偏低，故而在后续的研究工作中，应关注怎样在拓展卷积尺度的基础上，达到不明显增加卷积元素数目的效果。

4.结语

为对人体行为的失控特征信息有更明确认识，可以行为样本序列为基础，采用建设行为矩阵的方式去表示样本的时空信息，同时建设了卷积神经网络模型。该方法的应用不仅能获得行为样本的时空信息，也能有效学习不同邻接行为之间的相互关系。实验结果提示，该方法在MSR-Action3D数据库上体现出较好的应用效果，可在图像序列间相互关系的视觉任务执行期间推广。