您好、欢迎来到现金彩票网!
当前位置:秒速时时彩 > 松弛算法 >

论文推荐 杨应:全部像元参加的影像几何匹配算法

发布时间:2019-05-20 11:40 来源:未知 编辑:admin

  第一作者简介:杨应(1986—), 男, 博士生, 研究方向为摄影测量与遥感

  摘要:影像几何匹配之目的是从确定对应的影像中提取其间的几何转换参数,在摄影测量测图、变形物面监测和飞行平台动态性能分析等方面有许多实用需求。不同于普遍悉知的特征点影像匹配算法,本文研究的算法是把对应影像内的全部像元素参加匹配运算,从而按最小二乘准则求解对应影像间的几何转换参数值。文中阐述了算法原理,包括灰度对应方程、信息量不等式及最小二乘求解方法,尤其是详细探讨了灰度信息的小波分析及由信噪比计算信息量的方法。为验证本文的理论和方法,采用了直升机载视频相机的序列影像进行了试验,给出了相对定向元素和视差格网的两种解算结果。最后给出了本文方法与传统特征点匹配方法可利用信息量不等式进行对比分析的结论。

  关键词:影像几何匹配信息论小波分析灰度对应方程信息量不等式全部像元素匹配

  影像匹配(又称影像相关)是航测遥感图像处理的一个重要技术方法。它可用于求解待匹配影像间的几何变换关系,评估对应目标的相似程度或成像过程差异,从不同传感器影像中发现同名目标等方面。但是,本文所指影像几何匹配则仅限于使用由同一传感器对同一物方表面所形成的对应影像(立体像对或序列影像),匹配之目的仅限于求解其间的几何变换关系。涉及这方面的应用需求很多,例如摄影测量立体测图、场景变形监测、飞行平台运行性能分析、视频序列影像拼接、多镜头组合成像等。

  摄影测量影像匹配源于1958年[1],早期称为“影像相关”,Konecny在1980年定义“影像相关是对两块具有二维灰度变化的相似影像进行比较,从而检测其间几何差别的过程”[2],如此,影像相关与影像匹配的概念在摄影测量界被等同,其目的都是寻求几何解。至今,这方面的研究已经有了几十年的经验积累。目前大多数做法仍然是从参考影像中找一块靶区,在待匹配的对应影像中初选一个比它大的影像搜索区,在搜索区内进行影像相似度的比较[3],取其中的最优情况认定靶块中心与最优块中心为同名点(对应点)。为避免因影像纹理贫乏和噪声过大引起的错误匹配,发展了基于特征点的匹配方法,仅对选取的特征点实施匹配操作,从而提高了匹配的正确率[4]。最典型的例子有Moravec算子[5]、Harris算子[6]、Förstner算子[7]、SIFT算法[8-9]以及以特征点为基础的最小二乘匹配算法[10]。目前国际上著名数字摄影测量系统软件,例如Helava、VirtuoZo、DPGrid、JX4、Inpho、Map-AT等,大多采用这种FPM(特征点匹配)算法,辅以粗差剔除、TIN(三角网内插)、光束法平差等算法补偿FPM算法在影像纹理贫乏区得不到匹配结果的缺陷。

  为了弥补各种特征点孤立解算可能出现的左右交叉、上下颠倒之类的错误,研究了很多利用相邻支持和整体几何约束的方法,典型的有多点最小二乘匹配[4]、动态规划匹配[11]、松弛法匹配[12],以及新近研究出的半全局匹配(SGM)算法[13-14]等。这些算法虽然有从单点到局部到整体的趋势,但是整体思路仍然是单点相似性估计加几何约束。

  有别于以上方法(包括算法和解决问题的思路及技巧),本文以下从学术角度探讨,能否不做特征点的选取和核线排列工作,而将对应影像对中的全部像元都参加匹配,把全方位的信息(不仅x方向)全部用上,实现从大量冗余数据中寻求最优解的几何匹配,即all-pixels participated matching,简称APM算法。

  设计APM算法的基本思路是:从影像全局看,不把对应影像中非特征点的像元看成无用的,而是把每个像元都当作是整体影像不可分割的组成部分,用全局信号的信息量去解决所需要的几何不确定度问题。算法原理可以从以下3个方面阐述。

  灰度对应方程用于揭示对应影像灰度与其间几何转换的数学联系。设待匹配的对应影像的灰度函数分别为Gr(x,y)和G[F(x,y)]。这里Gr(x,y)表示参考影像在(x,y)点上的像元灰度,(x,y)的对应点(同名点)为F(x,y),其对应的影像像元灰度为G[F(x,y)]。一般来说,灰度值中都包含有相应的噪声nr(x,y)和n[F(x,y)],因此可以列出几何匹配的灰度对应方程如式(1) 所示

  几何匹配的目的就是从给定的对应影像区间txty像元的灰度值Gr和G中求解出F(x,y)参数值。为了解算的需要,必须将此灰度对应方程展开成参数化几何模型的微分方程形式。于是,F(x,y)展开成微分形式为

  式中,ui为几何参数,ui=u0+Δui表示近似值u0和微分量累加。因而,G[F(x,y)]可表达为全微分展开形式,将式(2) 写为

  式(4) 表明,可以利用给定的影像灰度信号Gr、G和计算出的灰度梯度 构建灰度对应方程,从中解求出几何模型F(x,y)。无论具体的几何模型有多复杂,总可以从数学上找到它近似表达形式。具体形式可能很多,根据目前常用的数据特点和任务类型,以下介绍两大类型,即相对定向模型和视差模型。

  以参考影像为基准,对应影像相对于参考影像的相对外方位元素有6个,即bx、by、bz、φ、ω、κ通常自由比例尺模型的相对定向中,忽略bx,相对定向元素简化为5个。因此对应影像的几何模型可表达为相对定向元素的微分形式[15]

  式中,6个相对定向元素为待求解的参数,Δbx、Δby、Δbz、Δφ、Δω、Δκ表示未知参数改正值。

  F(x,y)也可以理解成对应影像同名点视差模型(包括左右视差p和上下视差q)。而目前常用的视差模型有两种典型的表达形式:一种是点阵形式另外一种是参数形式。

  最典型的视差点阵是矩形(正方形)格网点阵。将格网点上的视差值作为待求几何模型的未知数,其余像点的视差值则视为是这些未知数的函数,例如式(6) 所示

  式中,i、j为格网点编号;b为格网间隔(假设为方格网);pij和qij分别表示格网(i,j)位置(x,y)两个方向上的视差。这里用了双线性内插法,也允许使用其他合适的内插方法。这种方法与文献[4]中“多点最小二乘匹配”十分相似。

  除了规则格网点阵,也可以采用不规则格网点阵。可以通过人工或自动化方法从参考影像中挑选地形地物特征点或特征线点列,将这些地形地物特征点的视差作为未知数,而将其他像点的视差作为他们的内插值,也可以列出类似式(6) 的函数,进入灰度对应方程解算。

  把影像视差模型视为一个曲面模型,最常用的是多项式形式。此外,以下介绍两种很好用的周期函数模型。

  (1) 视差模型(DPM)的傅里叶表达式。按数学理论,DSM/DPM可以表达成以ω为基频的一系列正弦波的叠加。一维情况可简单表达为

  式中,ai、bi为未知数参数;总共有2n+1个未知数需要从灰度对应方程中解算。

  实践中,像矿山地面沉降、地下水位降低的地面沉降等情况出现的DSM具有可视的起伏周期性,可能适用于这种模型。

  (2) 视差模型(DPM)的小波表达式。适合于傅里叶变换表达的DSM/DPM情况还是比较少见。大多数DSM不具备明显的周期性。因此,宜改用小波变换形式,将DPM表达成截止到一定分辨率的一系列小波信号的叠加,以小波参数作为待求解几何模型的未知数。

  除了以上列到的几种几何模型外,还可以根据需要列出其他形式的数学模型。至于相对定向模型与视差模型如何交互使用,则需要根据具体的数据类型和任务来灵活设计。实用的软件最好同时具备这些模型。

  从灰度对应方程(微分方程)中求解几何模型参数的最大困难是影像噪声的干扰,它甚至可以导致粗差的出现,中断匹配流程。尽管目前解求方程式(2) 的方法很多,但是无论用哪种方法都不能回避所能提供的影像信息量与待求解参数的不确定度之间的关系问题。依据信息论原理影像匹配能够得到可靠解的必要条件[16-18],即参加匹配的全部像元灰度G所能够提供的信息量HG必须大于待求解的F(x,y)函数所具有的不确定度HF。同时还留有足够的冗余度用于最小二乘求解,以提高几何匹配的精度。式(8) 可称为影像几何匹配的信息量不等式

  式中,σG2和σN2分别为灰度信号与噪声的方差,σG2/σN2即用于影像匹配的灰度数据的信噪比;log(σG2/σN2)即平均每个像元的信息量[19-21];T=tx·ty即参加匹配的对应像元总数(也即以像元为单位的影像面积)。在前述的特征匹配算法中,T为靶区面积,在本文以下的APM算法中,T为对应影像区间面积。

  首先讨论式(8) 左边影像信息量HG的问题,这里的关键是信噪比SNR=σS2/σN2。虽然到手可用的影像是1个像元分辨率的,但是小波领域的多年研究经验表明,并非此最高分辨率层次的信号具有最大信息量。以下用一个样本影像分析说明此问题。此样本影像经过摄影测量的处理,F(x,y)已精确获知(包括式(5) 的相对定向参数和式(6) 的视差格网模型),因此可以获得点点对应的像元噪声值N(x,y)

  简明起见,以下示出该样本x方向一个剖面的灰度信号及其小波分解的多分辨率波形图,其波形图如图 1所示。小波基函数形式为[22-23]

  按图 1和图 2的关系,计算出各分辨率层次信号的方差、信噪比、信息量。统计结果见表 1。

  从表 1的统计数据可以发现,分辨率越高的波形,其信噪比越低,特别是D1、D2、D3的细节层次,其信息量小于1 bit(个别样本甚至出现负值)。如果用这些信号分量参加影像匹配运算,就会产生错误匹配,即粗差,给后续的处理带来严重的麻烦。而A5和A4的近似层次较之原始信号A0,信噪比为原始信号的5倍,信息量多出2 bit多。由此得出启示,APM算法虽然不像特征点匹配方法那样选取信噪比高的特征点,但是却可以通过多分辨率分析和滤波的方法,选取信噪比高的信号分量,从而保证全部T=tx·ty像元全部参加匹配。

  以上分析了式(8) 左边的情况,接着看右边。式中,HF是以熵的形式计量的几何模型不确定度,最简单的例子如图 3所示。左边的靶点只对应右边由近似值给出的某点的8邻域,此时,s=9,则Pi=0.111,HF=3.176 bit。

  但是,如果待求解的是一个视差格网,如图 4所示,格网间距b,则共有tx·ty/b2个格网点,因此式(8) 可以具体表示为

  值得注意的是,这里的b一定要大于a,也就是说,当把灰度信号过滤到a的尺度后,所待求的视差格网的分辨率是不可能超过灰度信号之细节的。因此,尺度因子a的确定是很关键的,a=2k,k过小则灰度信噪比低,k过大则使得(tx·ty)/a2项变小,同样也减少了信息量。必须具体地根据在手的影像数据情况和待求的几何模型情况明智地确定a和b的尺度因子。

  如前述,当遵循信息论原理,依据信息量不等式,通过样本分析,确定最大信息量对应的最佳分辨率尺度,用小波分解或者其他滤波方法得到具有足够信息量的影像信号成分后,则可确定允许求解的几何模型不确定度,亦即确定求解的几何参数值域范围或视差格网的取样间隔。接下来,就是利用最小二乘法解算灰度对应微分方程,求解几何模型参数。具体算法原理如下。

  通过小波分析确定了选用的灰度信号尺度a,则可对原始影像信号进行分解,得到滤波后的灰度信号gr和g。列出微分方程形式的灰度对应方程如式(14)

  式中, 为g影像的灰度梯度,直接由影像差分求得。因此式(14) 可以写成

  影像的每个像元可以列上面的一个方程,全部(tx·ty)个像元,可以得到一个方程组,表达成矩阵形式为

  如果有必要,可对影像数据进行灰度直方图一致性的预处理,这样就不必在匹配处理中增加灰度变换参数。

  F(x,y)的近似值可以有效地减小待求解问题的不确定度,提高影像匹配的可靠性和解算效率。传统的金字塔与上述的多分辨率分层方法都能以从粗到精的方式,逐层提供可靠的近似值,通过迭代运算逐步精细求解。本文后续试验使用Radon变换的方法[24-25],该算法可以简便有效地获取影像匹配的近似值。一般情况相机的畸变差改正也应在此前完成。

  利用现有的小波图像处理工具很容易进行多分辨率分析工作。根据在手数据的实际情况,权衡选择适合的分辨率尺度。低通滤波则可以在很多现成的方法中选用,不限小波方法,例如高斯低通滤波算法,效果很好。

  当采用相对定向参数模型时,尽管有txty个误差方程式,但只需解算6阶方阵的法方程式,因此速度很快,且精度很高;当采用视差格网参数模型时,则需要解相当于2倍格网点个数2 mn阶方阵的法方程式,幸好这是稀疏带状的方阵,现行计算机软件库中有快速算法,例如Jacobi迭代法和Gauss-Seidel迭代法,可实现快速求解。具体做法是在软件中先编程实现逐点列误差方程并法化,然后在Matlab中不用求逆,而用左除算法求解未知矢量矩阵[26]。

  试验数据采用一组旋翼无人机载视频相机获取的序列影像,飞行相对航高约120 m,每秒获取30帧影像,像幅1920×1080像元,相机主距为1133像元,感光像元尺寸3μm,地面分辨率GSD约12 cm。从近万帧影像中抽取一段3000帧连续影像进行试验。其样本分析情况已在前述表 1和图 1。试验之目的除验证上述理论外,还面向两个应用目标:① 将序列影像拼接成一幅完整连续影像;② 研究解求飞行平台动态特性的方法,用于将来的机载LiDAR数据的精处理。

  如图 6所示,由于两幅影像相似度非常好,所以不需要做直方图处理。用计算机软件库中的Radon算法对两幅影像在x、y方向分别做一维Radon变换及一维信号相关,很快求得两影像间的Δx0=-5像元,Δy0=1像元用作近似值(其他元素值设为0)。

  冗余信息量用于增强匹配可靠性和提高最小二乘求解的精度。举例说,若要求计算精确到0.1个像元,则HFb就要计算式

  按照相对定向模型求解的6个相对定向元素值在表 2中给出。图 7的显示结果和表 2的数值是对应的,此像对的基线 m,地面最高建筑物约20 m左右,由此引起的左右视差之差(视差较)约为1.0像元(图 7(a)中左右视差范围为4.7~5.7像元)。由于各角度元素值很小,所以上下视差模型非常平缓。这里的格网点视差值,仍是格网范围内视差的平均值,显示不出每个像元尺度的视差值,因此模型显示很平滑。用SIFT加最小二乘匹配,从中检测13个点,其较差统计结果见表 3,从统计结果可以看出两种方法匹配结果的较差均值小于0.1像元。

  将3片邻接的影像依次处理,得到的相对定向元素值见表 4,其中最后一行列出按式(22) 计算的比较误差值

  统计试验全部3000帧影像解算结果,其中线元素的误差为σxyz=0.015像元,角元素误差为σφωκ=0.001°。

  将前面试验的3幅邻近影像按视差格网模型纠正后,经边缘二值化edge(LOG)处理,分别赋予R、G、B 3色,然后叠加显示如图 8所示,完全重叠则显示为白色,有差别则显示为R、G、B等混合色。从图 8上可见,撇开影像边缘提取的噪声,3幅图像上明显地物的边缘完全重叠,几乎看不出超出1个像素的粗差。

  下面评述本文试验的计算工作量:① 样本影像小波分析的工作量是对全区域或这种类型数据公共的,不计入像对处理过程中;② Radon变换做4×1080×1920次累加计算和4次60像元移位的2000像元长度一维信号相关运算;③ 低通滤波对2幅1080×1920的灰度图像做16×16算子的卷积;④ 列误差方程式,计算 共做6×1080×1920次二维矩阵元素的加减法,6个像对定向元素系数项做6×1080×1920×2乘法和加法。20×36个格网点做双线性内插,以及若干辅助运算;⑤ 误差方程式法化需做[2 073 600×6]×[6×1]和[2 073 600×1440] ×[1440×1]规模的矩阵乘法;⑥ 解法方程组,需结算6×6规模矩阵和1440×1440规模矩阵的线性方程组,但可用稀疏带状矩阵快速算法;⑦ 由粗到精的金字塔迭代,若做3次,则上述计算量3倍之。但是,APM算法具有如下优点:① 不需要做靶区相对于搜索区的上下左右搜索匹配运算(这在FPM和SGM算法中都是必要的),只需整幅影像做一次匹配(然后由粗到精迭代);② 因为事先经过信息量不等式分析和低通滤波处理,不会发生粗差,因此不需要有剔除粗差运算(FPM和SGM都需要做此工作)。

  这次试验所得结果精度很高,尤其是解求相对定向元素的精度,明显地高于机上所装载的POS硬件所能检测的动态位姿精度。因此下步有望用此方法补充POS硬件精度的不足,进行同机所载LiDAR(激光扫描仪)数据的误差修正。同时,也有望应用于视频摄像机监测滑坡移动和多镜头组合宽角相机的动态自检校等诸多工程实践。

  一时还很难将全部像元素参加的匹配方法(APM)与传统的特征点匹配方法(FPM)进行全面比较。但是基于信息论的观点,可以用信息量不等式(本文算式(8) 或算式(13))来概括这两种方法的相同点和不同点。FPM方法选择信噪比高的特征点,以取得较大信息量;APM方法选择信噪比高的信号成分,以取得较大信息量。FPM方法分别处理孤立点,以减小几何模型的不确定度;APM方法选择有限的参数形式限制几何模型的不确定度。两种方法的共同点是必须遵守信息量不等式,即参加匹配的影像所提供的信息量必须大于待求解的几何模型的不确定度,如此才能确保解的可靠性及提高解的精度。

  从算法原理上分析,不同算法各有其侧重面,效果也必然会有差异。因此,从理论研究角度,应同时重视这些方面,以思考方法系统的完备性。从实用角度,在软件研制和工程方案制定中,应根据任务需求而组合选用。APM算法通过低通滤波,降低需求水平,而求解相对可靠,但是分辨率比较低的视差值,而且是格网平均值,这仅对求解方位元素和DSM(数字表面模型)适用;如果要求解各个特征地物角点的真实视差值,则还应在此初级结果基础上,进一步做特征提取和特征点匹配,如此可避免粗差,而求得准确视差值;如果遇到出现大量高层建筑阴影“遮挡”的情况,则应改用“倾斜摄影”以及更复杂的算法组合。

  本文仅阐述了APM方法原理。结合工程实践必有大量具体的技术问题。仅此抛砖引玉,希望引发更多的问题及研讨。

http://christianiaart.com/songchisuanfa/3.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有