基于SIFT特征的图像匹配算法研究(三)

如果返回的有效的视觉词匹配和E-WGC验证之间的相似性查询Q和R等于参考图像h(q,p)汉明签名之间的距离[24]q和p。

    （4-5）

BoW(q)的符号表示的bag-ofwords中的Q。

    （4-6）

哪里显示匹配的信心将进一步阐述了后,和α是一个经验参数被设置为0.9在我们的实验中。 4-6基本上放大h(q,p)当匹配配对持有高信心得分在另一个词(低)。

我们估计的相互几何验证。 给定两个匹配的词从关键帧分别q和R p和q,规模ˆs和旋转ˆθ之间可以近似匹配指的是另一个单词的Q和q’从R那里来

   （4-7）

注意,ˆS和ˆθ值θ和年代的不同估计关键点检测(如在4-2)。 然而,总的来说它们的值越接近,越高机会,p和q之间的匹配是正确的。 我们因此定义之间的差异价值= max{ |ˆθ−θ|,|ˆS−S| }。 基本上值越小,越自信的话p和q之间的匹配。 为任何值≥α,比赛将直接从相似性度量,这样4-6总是产生积极的价值。 回顾方程4-5和4-6,两个关键帧之间的相似度由加权修正匹配单词的意义基于汉明距离和匹配的信心。

表4-1

F-SIFT的比较和筛选视频拷贝检测在不同类型的转换:1)CAMCODING,画中画,3)插入模式,4)强大的重新编码,5)伽马的变化,6)减少质量(包括噪声、帧删除等),8)后期制作(包括插入标题,等等),10)随机选择一个类型从3大转换。 第三栏指明正确复制视频检索的数量在不同的转换。 注意,在转换8和10,有63和14 134查询分别被翻。

（a）比较在不同设置的弓

(b)比较主要的迹象旋度,并使用F-SIFT拉普拉斯算子的迹象

实验

    这些实验是进行TRECVID[9]声音和视觉数据集2010。 数据集由11525网络视频总持续时间400小时。 有1608个查询由八种不同人工生成的转换从camcording,画中画,重新编码、帧删除不同的转换包括翻转的混合物。 预处理,密集的关键帧取样执行查询和参考视频的速度每1.6秒一个关键帧。 这导致平均51关键帧的查询,和903656关键帧的参考数据集。 我们采用Harris-Laplacian关键点检测和每帧平均有309个要点。 鞠躬表示,我们采用二进制量化和多个任务的视觉单词一个关键点[6]。比较难量化,二进制量化展品更好的鲁棒性的现象burstiness[26]广泛存在在图像和视频帧。 页面限制,结果很难量化的省略。 对于每一个查询,返回一个副本视频(如果有)的相似性得分。

检测有效性:我们比较F-SIFT的性能和筛下三个不同的设置:BOW+,BOW和BOW*,为了看到不同组件的影响视觉描述符。BOW+摘要拟议的框架,而弓包含在这一节中讨论的所有特性除了相互几何验证。BOW*实现基于[6],[24]报道精彩的演出在TRECVID数据集通过视觉词匹配和被广泛认为是最先进的视频拷贝检测技术。 BOW*基本上代表了一种更传统的框架在文学,不同于船头,占主导地位的旋度的标志不是用于过滤和几何验证是基于WGC。

表4-1(a)显示了1608查询的性能比较八个不同的转换。 基于CCD所提供的真实,有134册/转换。 显示的结果,F-SIFT优于筛选始终返回更多的真正的阳性几乎所有类型的转换和设置。 特别是对于transformation-8和transformation-10涉及翻转操作,F-SIFT分别检测到62.5%、38.5%和52.3%的真实积极的BOW+,BOW和BOW*。 值得注意,F-SIFT是建立在筛选时,它也能够表现出类似的甚至更好的性能no-flip转换。比较这三个设置,BOW的性能比BOW*由于使用E-WGC代替黄金协会。 翻转的使用指标弓修剪假比赛也会导致更大程度的提高检测精度。 进一步将互惠几何检查通过BOW+导致整体最佳性能的实验。 通过检查查询和真正的阳性之间的相似性得分,我们确认使用4-6的权重调整策略。用更少的真正成功地提高了候选人的排名视频匹配。 注意4-6包括参数α是实证组0.9实验。 图4-2显示了α的敏感性,只要价值下降的范围内(0.65,0.95),α不敏感性能。

图4-2 灵敏度的α(16)对视频拷贝检测的性能

    采用的主要的想法旋度的快速过滤假警报的模拟信号的拉普拉斯算子的使用视觉单词的快速匹配[20]。表4-1(b)所示它们之间的性能比较基于BOW*设置。总的来说,性能改进召回和精度是观察当加强BOW*与占主导地位的旋度的迹象。 这与使用拉普拉斯算子的迹象提高精度的BOW*但降低召回。 因为使用拉普拉斯算子的迹象的目的主要是为加快[20],它更有效地保持正确的匹配和更少的能力处理翻转转换而占主导地位的旋度。 8转换,占主导地位的旋度的迹象一直展品更好的回忆能力真正的优点。

图4-3显示了比赛结果的例子由F-SIFT下BOW+设置。 一般来说,F-SIFT健壮的缩放,翻转和斜转换,如图4-3所示(a)和4-3(b)。 通过人工检查,大部分比赛是正确的。 假阳性,如图4-3所示(c)和4-3(d),然而由于生成重复的部分场景。 结果被认为是假警报,通过人工检查,我们可以发现复制对象和背景确实是正确匹配。 假阴性产生主要是由于模糊转换。 几乎没有关键点匹配发现使用F-SIFT或筛选的例子在图4-3(e)和4-3(f)。我们调查的结果和观察,这是主要是由于量化误差引入的BOW量子化4。

图4-3 由F-SIFT匹配结果的例子。 (a)和(b)真积极。(c)和(d)误报。 (e)和(f)假阴性。 (一)翻转+规模。 (b)倾斜。(c)复制对象。 (d)重复的背景。 (e)重斜+模糊。(f)重模糊+规模。

     效率:表4-2列出了处理一个查询关键帧的时间成本。 实验是在电脑上进行的2.8 ghz CPU和7 g Linux环境下主内存。 特征提取时间,F-SIFT需要额外的0.128秒而筛选在检索阶段通过反向文件(如果有),F-SIFT也慢于筛由于需要巩固匹配结果通过检查的另一个指标匹配的单词。 然而,这一步有效梅干错误匹配,导致更少的候选人被E-WGC进一步处理和互惠几何验证。 如表二所示,E-WGC计算时间减少了61%,和46%互惠几何验证。 这更有效和结束有效使用F-SIFT视频拷贝检测框架。 090万年在我们的数据集的关键帧,处理一个典型的查询的71.6秒51关键帧将由F-SIFT约98.8秒。 这种加速44.6%比较筛选将142.9秒。

表4-2 平均时间成本每一步的CCD筛选和基于F-SIFT方法(S)

对象识别

关键点检测器:本实验的目的是实证研究关键点检测器的翻转不变性特性提出了部分。 两个图像序列,墙壁和船,以及他们翻转版本用于实验。 前者是一个序列逐渐变化的观点,而后者显示缩放和旋转的渐变。图5-1显示了结果。 如上所述,所有六个探测器的性能趋势一致相似翻转和no-flip转换。

图5-1 重复性各种关键点检测器最初的墙上和船的序列,和他们翻转版本(b)和(d)。(a)。 (b)与翻墙。 (c)船。 (d)船翻转

视觉描述符:我们比较八个不同的视觉描述符包括F-SIFT和筛为研究关键点匹配的准确性。 类似于[20],一组图像双采样5-1图像序列的实验。 包括第一和第四集从每个序列图像。 除了最初的转换(模糊、旋转、缩放、改变照明、色彩和JPEG压缩率)在图像集,翻转转换包括翻转每个序列的第四个形象。在实验中,除了上网,狗检测器是用于所有的视觉描述符。绩效评估是衡量评估point-topoint匹配的数量正确返回。 图5-2显示了recall-precision方面的性能曲线的平均结果5-1图像对。 如图5-2所示(a),no-flip转换、筛选展览最佳性能F-SIFT和冲浪。 在最坏的情况下,F-SIFT仍能达到85%的性能筛选,这远比其他描述符如MI-SIFT并找到处理翻转的设计。 F-SIFT的性能下降主要是因为主导旋度估计的错误。翻转转换如图5-2所示(b),相反,F-SIFT显示比流行的描述符如筛选性能优越,冲浪和PCA-SIFT,F-SIFT,也使用定向敏感梯度特性。

图5-2 比较八个不同的视觉描述符使用图像flip和noflip病例配对样本8图像序列[11] (a)No-flip。 (b)Flip

对象检测

视觉目标检测在近十年已被广泛的研究。 在变异的方法,检测基于bag-of-words表示和支持向量机分类器一直是最普遍采用的技术。 在本节中,我们实验比较F-SIFT和筛选检测范式。 特别是,我们采用一种变体的BOW与费舍尔内核框架,这已被证明产生先进的分类性能在大规模图像数据集[2],[3]。

6.1 BOW上费舍尔内核

在[2]的基础上,每一个视觉单词是建模为GMM(高斯混合模型)。 关键点描述符(如集 F-SIFT),指示为X,从图像中提取可以表现为以下梯度向量:

         （6-1）

在X =(x1,x2,。 ,xt)t重点和λ是描述GMM参数集。 直观地说,log-likelihood描述的方向的梯度参数应该修改为最适合的数据。 费舍尔的吸引力内核转换从一个可变长度的样品X变成一个固定长度的向量由λ。

梯度向量可以被视为输入任何类型的分类器。 通常,这可以分为三个sub-vectors梯度向量参数类型:体重(作业指导书),意味着(μi)和方差(σi)(i = 1,。 N),其中N是高斯模型的数量或视觉单词。 例如,可以近似μi梯度d维度的描述符。

       （6-2）

在我们的实现中,只使用平均梯度sub-vector分类性能类似于使用以来所有三个subvectors[2]。 费舍尔的优点基于内核的弓是双重的。

结论

我们提出了F-SIFT及其利用视频拷贝检测、目标识别和图像分类。 一方面,F-SIFT的提取是慢于筛主要由于计算旋度和局部地区的显式翻转。 另一方面,改善检测效果一直观察到三个应用程序。 尤其是视频拷贝检测,表明显著改善使用F-SIFT查全率和查准率。 更重要的是,通过明智地索引F-SIFT一点额外的开销的每个描述符在空间复杂性,在线检测(包括特征提取)的速度在0.9亿关键帧的数据集也被提高了两倍。 这的确已经补偿在特征提取需要更长时间。

在复制检测中,我们演示了使用F-SIFT预测的查询是一个翻版本是否参考视频。 如图所示在我们的实验中,这种有趣的发现导致显著加快减少大量的候选人匹配为后处理。 对象识别的比较研究表明,F-SIFT优于其他七个视觉描述符时翻转介绍各种转换,而表现出类似的性能作为no-flip转换冲浪。在目标检测,也可以利用F-SIFT分析fliplike结构图像,提高检测效率。 我们未来的工作因此包括F-SIFT开发更全面和明确的方式描述对称模式潜在的对象。