基于SIFT特征的图像匹配算法研究(二)

大部分的关键点检测器和视觉提出了描述符的特征点匹配对象识别[11]。 然而,目前还没有系统和比较研究,调查他们的表现在面对翻转转换。 不同于复制检测和目标识别,检测大多learning based现有的工作对象。具体来说,bag-of-visual-words(BOW)由当地特性筛选等输入分类器学习[16],[17]。 据我们所知,还没有工作认真解决的问题通过对比检测性能特性有或没有将翻转不变性的财产。

翻转不变的筛选

    我们首先描述现有凸区域(或关键点)探测器。 这些探测器确实翻转不变和定位区域在不同转换的能力。 换句话说,翻转操作问题产生的结果是起源于特征描述符本身。 这一事实,我们会提出我们的提议描述符F-SIFT修正筛选是不变的。

3.1 Flip不变探测器

有各种各样的关键点检测器在文献[1]、[18]-[20]。 一般来说,这些探测器执行scale space分析当地极端的形象定位选定的尺度。输出是凸点,每个关联到一个区域的支持和主导方向。探测器大多相似,除了与变化特点的选择功能。 分析翻不变性的主要探测器给出如下。

给定一个像素P,二阶矩矩阵定义来描述梯度分布在当地的社区P:

    （3-1）

σ I集成规模,σ D是计算的微分规模和L g的导数在g P(x或y)方向。当地的衍生品与高斯计算内核的大小取决于σ D规模。邻居家的衍生品平均P通过平滑集成σ I规模。 基于3-1,哈里斯在像素P是给定的函数

        （3-2）

α是一个常数。 尺度不变性进一步通过scale-space处理计算Laplacian-of-Gaussian矩阵

      （3-3）

在Lgg表示方向的二阶导数g。 局部极大值P的价值,对集成σI规模,确定基于特征结构在P . Harris-Laplacian(HarLap)探测器作为一个像素P关键点是否达到当地maxima Harri s(P)和日志(P,σI)同时进行。

3-1涉及的计算一阶衍生品定向敏感。 水平翻转转换,例如,将反向沿x方向导数的迹象。 幸运的是,二阶矩矩阵是对称和衍生品的平方,导致没有变化对结果的影响因素。 而3-3,计算完全依赖于二阶衍生品在x和y方向通常在以下表格

     （3-4）

由于高斯窗口是各向同性,Lgg在每个方向保持不变。 因此,对3-3翻转产生任何影响。 HarLap和Laplacian-of-Gaussian(LOG)检测器采用3-3为特点的功能。

Difference-of-Gaussian(狗)探测器[1] 定义了局部极值在空间和尺度空间基于以下函数:

      （3-5）

G(P,σ)像素的高斯模糊应用P和k是一个常数乘法因子。 类似于HarLap和日志,翻转操作将不影响3-5由于各向同性高斯窗口。 因此,狗探测器也不变。

   黑森探测器,相反,定义了卓越功能仅仅基于海赛矩阵的行列式如下:

        （3-6）

翻转操作没有影响Lxx或Lyy但互换Lxy和Lyx矩阵。 然而,由于凸起基于行列式计算,价值的交换不会导致改变,因此探测器也不变。 类似的分析适用于快速黑森(FastHess)[20]探测器。 与此同时,它也很容易看到,黑森-拉普拉斯算子的定义(HessLap)探测器3-3,3-6也不变。

3.2 F-SIFT描述符

虽然关键点检测器大多翻转不变,但并不能保证特征提取显著区域也不变。 在第二部分讨论,不变性主要依赖于布局分区方案的描述符。 不同于现有的方法,我们的目的是丰富筛选翻转不变,同时保留原来的属性包括基于网格的翻转转换可以发生在任意轴。然而,不难想象,任何翻转可以分解成一个翻转一个预定义的轴一定紧随其后程度的旋转,如图3-1所示。因此,一个直观的想法做一个描述符翻转不变特征提取之前是通过规范本地地区通过旋转地区一个预定义的轴,然后沿着轴翻转。 此外,如果一个地区被旋转它的主导方向由关键点的地区确定探测器、正常化可以简单地通过翻转区域水平(或垂直)。换句话说,翻转不变性的一个突出的解决方案是确定是否翻转之前应该进行提取局部特征从该地区。

         

图3-1 标准化任意翻转(a)水平翻转(b)旋转。

我们建议主要旋度计算回答这个问题。 旋度[21]是数学上定义为一个向量算子描述的无穷小旋转向量场。 旋度是旋转轴的方向由右手定则决定的。 在多元微积分,给定一个向量场F(x,y,z)中定义R3地区可微,F的旋度等于

              （3-7）

根据斯托克斯公式,集成一个向量场的旋度可以表达的

          （3-8）

在我们的例子中,旋度是定义在一个二维离散向量场。 旋度在一个点上的叉积一阶偏导数分别在x和y方向。 流(或主导curl)可以定义为沿切线方向在哪里和θ角方向的梯度向量的切线圈穿过(x,y)。

        

  （3-9）

    一般来说,只有两个可能的方向为C,顺时针或逆时针方向,这是由其签署表示。 信号的变化只有当向量场一直翻(以及一个任意轴)。如果我们执行每一个局部区域的信号流是顺时针,正常化是由翻转迹象的地区是逆时针方向。换句话说,之前的解决方案是否翻转区域特征提取是基于C的迹象。健壮性,3-10被分配,可以进一步增强更高的权重向量接近地区中心流是由高斯加权的内核克当地region1σ等于半径的大小。

  （3-10）

总而言之,F-SIFT生成描述符如下。 给定一个地区旋转它的主导方向,3-10计算估计顺时针或逆时针方向流动。 F-SIFT确保翻转不变性财产被执行,所有地区的流动应该遵循一个预定义的方向指示标志的C 3-10。 的地区是相反的预定义的方向流动,翻转区域沿水平或垂直轴以及补充他们的主导方向是明确执行几何规范化的区域。然后筛选描述符提取归一化的地区。 换句话说,F-SIFT直接筛选和保留其原始产权运作。 选择性翻转之前执行基于主导旋度分析提取翻转不变的描述符。 筛选相比,F-SIFT只是计算的开销3-10廉价的计算。 我们的实验仿真表明F-SIFT的提取从一个图像描述符大约三分之一低于筛选(IV-D节中看到更多的细节)。如图3-2所示(一个)和4(b),转换涉及没有翻转,F-SIFT筛选显示类似的性能。 匹配对越来越少但是发现F-SIFT 4(b)所示由于估计误差在3-10。 这个错误来自区域纹理模式的缺乏。 相反,当发生翻转,F-SIFT展品表现明显强于筛选。 如图3-2所示(c)4(f),匹配对的数量恢复了F-SIFT不仅仅是筛选。

图3-2 比较的匹配性能筛选(左)和F-SIFT(右)在翻转转换。 (X / Y)显示的数量匹配对(X)对关键点的数量(Y),出于演示目的,没有显示所有匹配的行。 (一)规模(181/484)。 (b)(162/484)。(c) 规模+翻转(24/484)。 (d)规模+翻转(153/484)。 (e)+旋转翻转(71/508)。(f)+旋转翻转(307/508)。

视频拷贝监测

为复制检测演示F-SIFT的使用,我们采用框架最初near-duplicate视频检测[23]。 修改框架是由考虑由F-SIFT引入的新特性。 [23]后,F-SIFT描述符是第一个离线生成视觉词汇的量子化。 每个关键帧提取视频就代表了一个bag-of-visual-words(鞠躬)与反向索引文件结构(如果)的快速在线检索。 减少量化损失,每个单词索引byIF也与汉明相关签名健壮过滤[15],[24]。 此外,采用几何检查删除错误的关键帧检索[23]。 最后,发现候选人视频的关键帧聚合和霍夫变换拟合与查询视频[15],[23]。

4.1 索引F-SIFT

一个有趣的事实,当匹配一个翻转图像与其原件,是两个匹配区域的流动方向计算3-10总是相反的。相反,当转换不涉及图像翻转,匹配的地区都没有翻或由F-SIFT翻。 换句话说,在理想的情况下,只有两种可能性来描述两个图像之间的匹配。 首先,当一个查询图像翻转,配对都有特点的一个地区由F-SIFT翻。 其次,当一个查询涉及到没有翻转,所有的配对都不翻或翻但不是它们的混合物。 虽然这种观察是直观的,它会导致有趣的想法,错误的匹配可以很容易地删除。例如,通过测量两个图像和发现的所有配对的两种可能的情况下(查询是翻不翻),无效的比赛很容易识别和移除。

增强弱几何一致性检查

检索到的视觉单词,如果仍有可能吵一般由于量化误差。 实用的方法对于减少噪音是通过弱复苏底层几何变换[23],[25]为进一步验证。 我们采用在[23]E-WGC几何检查由于其性能优越而更成熟的方法WGC[24]。 使用F-SIFT,我们修改E-WGC如下。 给定两个匹配视觉单词q(xq yq)和p(x p,yp)分别查询和参考关键帧,它们之间的线性变换可以表示为有三个参数需要估计4-1比例因子年代,旋转参数θ,和翻译Tx。

   （4-1）

E-WGC 是操纵和。Sq和θq代表视觉单词的特征尺度和主导取向分别问q。

    （4-2）

当一个查询被视为一个翻转版本的参考图像在数据库如4.1节中所讨论的,重写为12 W0的参考图像的宽度。

   （4-3）

注意4-3只考虑水平reflection3速度效率。选择应用4-2或4-3是动态确定基于翻转转换是否发现正如4.1节中给出。E-WGC旨在估计视觉单词的翻译τ通过可以有效地估计histograming技列。

 （4-4）

图4-1 副本的例子很少真正积极的比赛由于沉重的转换。 (a)严重倾斜。 (b)大比例。