Spatio-Temporal Audio Visual Saliency Network
本文提出的网络架构包含一个用于计算时空视觉显著性的模块、一个基于Sound-net的音频表征模块计算音频特征、一个声源定位模块来计算时空听觉显著性的模块,以及一个音视显著性模块来融合视觉和听觉显著性,并评估损失。 ### Spatio-Temporal Visual Network 视觉显著性部分,使用3D卷积用于行为分类,包含参数,四个卷积块从不同的时空尺度上提供输出。同时,注意力机制DSAM(Deeply Supervised Attention Module)对特征图和注意力图的每个通道做乘积来增强特征表征中最突出的区域: 深度监督是DSAM的核心思想,之前已经被应用于边缘检测、目标分割和静态显著性检测,但是与上述工作不同,这里DSAM的作用是双重的:既用于增强视觉特征,也用于提供多尺度的显著图,就如Fig2中深浅不一的绿色线标注的。因此,DSAM的参数通过视觉网络的主路径和残差连接的眼球跟踪数据来训练。
Fig3展示DSAM模块在第层的结构,包含了一个时间维度上的average pooling层,然后是两个空间卷积层,提供显著性特征和激活图(?)。两种表征都通过逆卷积层上采样至初始图像的大小,用于模块的深度监督和多尺度显著性建立。对激活图进行空间softmax操作可以得到注意力图:
Audio Representation Network
对于音频数据,直接在声波上应用一维的卷积。首先将音频分割以匹配视频帧数(16帧)。应用的网络可以处理变长的音频,因此不同视频间不需要采用下采样策略来改变采样率。随后,应用一个汉宁窗来提高代表当前时间实例的中心音频值的权重,但也包括过去和未来的衰减值。之后,对于高层信息编码,采用基于SoundNet前七层的网络结构,其参数位。这些层之后是一个时间维度的max-pooling层,以获得对于整个序列一个固定的维度向量。
Sound Source Localization in Videos
选择3D卷积块的输出(特征维度为)作为视觉特征,因为这一层中加油丰富的视觉流语义信息和空间域上相当大的分辨率。应用时间平均池化来边缘化时间维度,获得整个序列的全局表示。由于视觉和音频特征具有不同的特征维度,在隐藏层中使用两个不同的仿射变换进行重新投影:
其中,是对应的学习参数。此外,对音频特征应用空间平铺来匹配视觉特征的空间维度,得到。
为了学习音频特征和视觉特征之间的对应关系,文章研究了三种方法。第一种方法不需要学习参数,直接计算两个向量之间的余弦相似度,从而得到一个定位图。第二种方法,对向量在像素点处的内积进行加权,从而获得一个或多个定位图:
其中是学习参数。第三种方法,也是最后使用的方法,即对输入的多模态数据应用双线性插值,也可以得到一个或多个定位图: 其中是学习参数。先前提到的两种方法是双线性插值方法的特殊情况,使得输入之间有更丰富的相互作用。当矩阵是对角矩阵,是对角元时,就是加权内积的情况。当矩阵是单位矩阵时,结果非常接近余弦相似度的版本(经过归一化因子)。 ### Audiovisual Saliency Estimation
通过声源定位图计算得到了音频显著图。但是,在一段视频中有很多方面可以吸引人的注意力,但是与音频并不相关。因此,为了构建一个多模态显著性预测网络,还需要包括由时空视觉网络建模的纯视觉信息。这也是这篇文章的一个重要贡献:提出了不同的音视融合方法。
最简单的融合方案就是学习视觉映射和音频相关映射(通过对多级级联的视觉显著性特征和定位图分别应用全卷积层得到)的一个线性加权和:,其中是sigmoid激活函数。
此外,受之前基于信号处理的视听显著性方法的启发,研究了一种基于注意力的方案,由音频流调制视频流:。在有多个定位图的情况下,可以将级联的视觉显著性特征和定位图逐一相乘,然后应用全卷积层来获取单个显著图:。
然而,如Fig2所示,文中最主要最通用的、使得视觉和音频特征映射之间有更多自由交互的方法是将多模态特征连接,然后由卷积层进行融合,得到一个显著图:。
最后,融合方案是之前所有方法的加权学习和:。
Saliency Losses
为了训练与视频流相关的参数,构建了一个损失,将显著图和激活与由眼动数据得到的ground truth 相比较: 其中,是sigmoid非线性函数,是预测与真实图像之间的损失函数。当训练音视网络的参数时,使用训练过的纯视觉网络作为起点,不使用DSAM模块的跳过连接: 为了比较预测的显著图和眼动数据应用了不同的评估指标。对于真实图像,既可以使用大小为的图像平面上的固定位置,也可以使用由二元固定图和高斯核卷积得到的稀疏显著图。所以,对于,使用了评估显著性预测不同方面相关联的三种损失函数。第一种是预测图和稀疏图之间的交叉熵损失: 第二种损失函数基于线性相关系数,广泛应用于显著性预测评估,用来衡量预测图和稀疏图之间的线性关系: 其中分别代表协方差和标准差。最后一种损失函数是由Normalized Scanpath Saliency(NSS)得来的,计算预测图,经过零均值归一化和单位标准化后,在人注视的位置(): 其中是所有注视点的总数。对于第i个输入样例的最终损失函数为分别使用对应损失的损失函数的加权和: 其中是每种损失的权重。