0 引言

由于相机成像模型自身的局限性会使图像产生“近大远小”的透视畸变，在对物体进行几何尺寸和空间位置的视觉测量时严重影响测量精度，因此校正图像的透视畸变对于提高视觉测量精度至关重要。目前校正图像“近大远小”透视畸变的方法主要分为两类：通过得到物体的理想正视图图像的校正方法和透视误差补偿的校正方法。其中通过得到物体的理想正视图图像的校正方法是使物体目标平面上的点与相机平面的距离相等来实现的[1]，主要有角度检测法、控制点变换法和射影几何方法[2]三类，这些方法都基于旋转角度检测和直线检测技术，算法比较复杂[3]且应用范围有限，仅对平面物体的图像具有较好的校正效果，对于曲面物体其理想正视图中物体上的点与相机平面的距离并不相等，仍然存在“近大远小”的透视畸变，因此无法应用到曲面物体的图像透视畸变校正中。透视误差补偿的校正方法[4]直接对待测物体的像在标定平面逆映射的等效物理尺寸进行误差补偿，但需要已知待测物体与标定平面的准确距离。

在机械制造领域，圆形或球形特征的物体十分常见，对于这类物体，一般需采用双目视觉方法，借助多个视图获取三维实体的参数。当物体的特征模型已知时，通过物体的单视图也能检测物体的三维位置和姿态，其中最常见的是利用物体与其投影图像之间存在的特定的点、线对应关系求解其三维位置[5]。本文的检测目标是实现对一带有圆形特征的球体的空间姿态测量，环绕该球体球面大圆处有一条凹槽，该凹槽构成了一个空间圆环，而空间圆在摄像机像平面上所成的像是椭圆形[6]，因此该凹槽在像平面上所成的像是半个椭圆，若球体及凹槽的形状参数是已知的，则可以通过球体的单视图图像中椭圆的参数检测其当前姿态[7]。但是由于透视畸变的存在，球体凹槽上的点离相机平面的距离均不相同，导致其在图像平面的椭圆的投影中心误差[8]、长轴误差和短轴误差很大，大大降低球体姿态的检测精度。

针对上述问题，本文基于逆透视畸变[9-10]和摄像机标定技术[11-12]提出了一种面向球姿态检测的图像透视畸变校正方法。

1 相机成像基本理论

理想的相机成像模型为平面透视投影模型，即小孔成像模型，该模型是目前摄像机标定和机器视觉中应用最广泛的模型[13]。其成像原理如图1所示，其中坐标系OwXwYwZw为世界坐标系，用来表示被拍摄物体和相机在空间中的位置；坐标系OcXcYcZc为相机坐标系，Oc为相机的光心，Zc坐标轴与相机的光轴重合；坐标系Oixy为图像坐标系，原点Oi为光轴OcZc与图像平面的交点，称为图像主点，x轴平行于Xc轴，y轴平行于Yc轴；OtUV为像素坐标系，以像素为单位。

空间中任意一点M(xw,yw,zw)，在相机坐标系中的坐标可以通过旋转矩阵R和平移矩阵T变换得到，即世界坐标系和相机坐标系之间的变换关系为

(1)

建立相机坐标系和图像坐标系之间的变换关系：

(2)

其中，K为相机的内参数矩阵;(u0,v0)为图像主点的像素坐标;f为相机透镜的焦距;dx、dy分别为x轴、y轴方向单位像素的物理大小。内参数矩阵K、旋转矩阵R、平移矩阵T都可通过相机标定获得。

但这种相机成像模型存在不可避免的缺点，在同一张图像中，物体“近大远小”的现象造成的畸变直接影响视觉测量精度，图1中线段MN和线段PQ实际长度相等，且平行于图像平面，根据透视投影原理可得，物距较小的线段PQ在相平面上的投影大小明显大于物距较大的线段MN的投影，这就是本文中主要研究的透视畸变，而这种透视畸变在光心附近较小，远离光心处逐渐变大。

2 针对球姿态检测的透视畸变校正方法

2.1 球体姿态检测

图2所示为一球O，球面上有一个大圆H，圆心与球心重合，大圆H位于平面CDEF上，球体坐标系OXY的原点O与球心重合，线段AB为球O的直径，且平行于OXY平面，则为大圆H的一半。平面C′D′E′F′过球心且垂直于OXY平面，与平面CDEF的交线为直线AB。此球体的姿态由α和β确定，α为平面CDEF与平面C′D′E′F′的夹角，β为线段OA与Y轴的夹角。将整个球体平行投影到OXY平面时，的平行投影为一个中心位于球心的标准半椭圆，由几何关系可知椭圆长轴与Y轴方向的夹角即为β，椭圆的短半轴是大圆H的半径OG在OXY平面的平行正投影，则椭圆的短轴与半径OG的夹角为α的余角，由于椭圆的长半轴长度等于大圆H的半径长度，则椭圆短轴与长轴的比即为α的余角的余弦值，因此利用此几何关系可确定球体的姿态。

相机成像得到的球体的图像经过透视投影而来，由于上的点与相机的距离不同，因而“近大远小”的透视畸变使得的图像并不是一个中心位于球心的半椭圆，从而无法准确计算球的姿态，球体的半径越大，这种透视畸变越严重，导致球姿态检测精度下降。

2.2 基于逆透视变换的图像透视畸变校正算法

逆透视变换为上述透视变换的逆过程，是为了找到图像上点的像素坐标与其世界坐标之间的对应关系，从而可以恢复空间中某一平面的部分信息。

由式(1)、式(2)可知，若已知K、R、T的值，可由物体上的点的空间坐标(xw,yw,zw)得到图像上对应的像素坐标，但由现实三维空间的点转换为二维图像坐标后，丢失了深度信息，若能够已知物体上点的三维坐标中的某一维，则可完成图像上点的像素坐标(u,v)到空间三维坐标(xw,yw,zw)的转换。因此可将要恢复的空间平面的z坐标均设为0，从而得到空间平面x、y坐标信息，这就是逆透视变换的过程[14]。

对于已知形状特征参数的球O，设世界坐标系的原点Ow位于球体坐标系OXY平面上，Zw轴平行于球体坐标系的Z轴，且与Z轴方向相同，摄像机光轴Zc平行于世界坐标系的Zw轴，且摄像机位于Zw正向方向上，球体坐标系的X轴平行于像素坐标系的U轴，Y轴平行于像素坐标系的V轴且方向相反。将过球心且垂直于摄像机光轴Zw的OXwYw平面设为P平面，则上的点都位于平行于P平面的平面Q1，Q2，…，Qi上，将平面Q1，Q2，…，Qi定义为平面集合Q，Q中的平面与P平面的垂直距离分别为d1，d2，…，di。若已知P平面上点的世界坐标与相机坐标之间变换的旋转矩阵R0和平移矩阵由于相机固定，且P平面与Qi平面平行，则Qi平面上点的世界坐标与相机坐标之间变换的旋转矩阵R0不变，而平移矩阵中只有沿Zw轴的平移量的改变，通过计算可得其平移矩阵变为正是由于上的点在世界坐标转换为像素坐标时的平移矩阵不同导致“近大远小”的透视畸变。

由此可知P平面上点的世界坐标(xwP,ywP,0)与像素坐标(uP,vP)之间的关系为

(3)

记则可以计算得到P平面上点的xwP、ywP坐标值：

(4)

由于球心在P平面上，由上式可得球心的世界坐标。

Qi平面上点的世界坐标(xwQ,ywQ,zwQ)与像素坐标(uQ,vQ)之间的关系为：

(5)

由于上的点既在Qi平面上，也在球面上，满足球面方程：

(6)

其中(a,b,c)是由式(4)计算得到的球心的世界坐标，zwQ的值等于di，OR为球体半径。

联立式(5)、式(6)可求得上的点的xwQ、ywQ、zwQ坐标。

然后将上的点全部平移到P平面上，即xwQ、ywQ坐标不变，zwQ坐标为零，再利用相机内参矩阵、P平面与相机之间的旋转矩阵和平移矩阵完成上的空间坐标点到像素点的正向透视变换，得到其新的像素坐标，最后对新的像素点进行椭圆拟合，从而检测球的姿态。

此透视畸变校正方法中由于平移后上的点位于同一平面，并且相机拍摄的图像为此平面的正视图，因此能够降低透视畸变对球姿态检测精度的影响。

3 实验

3.1 实验方案

实验方案如图3所示，旋转台和旋转摆角器连接共同完成绕Z轴方向和绕Y轴方向的转动，将球体放置于旋转台中心，使球心与摆角器的摆角中心重合，且球心位于相机光轴附近，相机和旋转台的初始位置均与水平面平行，光源采用平行背光源和两个条形光源，保证球体外轮廓和球面细节清晰，通过光源控制器调节光源的亮度，为避免环境光的干扰，实验在暗箱中进行。实验开始后，相机和光源的位置均保持不变。

完成不同角度的球体图像采集后，将球体从旋转台上取下，并将摆角器的角度恢复到初始位置，相机焦距和位置均不改变，然后用精密标定板对相机进行标定实验，并对过球心且垂直于相机光轴的平面位置进行标定。

图4为依据实验方案搭建的实验平台，实验装置包括精密光学平台、型号为piA2400-17gc的Basler彩色CCD相机、GCM-730402M型旋转摆角器、GCM-1101M型旋转台、OPT-FAT50型平行背光源、OPT-LXT402221型条形光源、OPT-DPA1024E-4型光源控制器、Win7 64位系统工控机、带有水平仪的相机支架、棋盘格边长为5 mm且图案阵列为12×9的标定板，以及3D打印的球体，该球体打印精度达到0.1 mm，球体直径60 mm，在球体最大圆处有一个深度为1 mm、宽度为0.5 mm的凹槽，球下方为定位结构，保证球心位于转台中心且凹槽所在的平面初始位置垂直于旋转平台。

3.2 实验步骤

(1)利用SolidWorks设计球体模型，并将模型导入3D打印机中，调节打印参数，打印出符合精度要求的球体。

(2)调整实验平台，首先利用相机支架上与相机相连接的水平仪将相机调平，使相机平行于水平面，然后将旋转台和摆角器均调至0°，将球体放置于旋转台并固定，使球心与摆角器的摆角中心重合，且球心位于相机光轴附近，此时α和β都等于0°。

(3)采集球体不同α和β的图像，在拍照过程中保持光源不变，相机焦距不变，通过调整旋转台和摆角器的角度获取球体不同姿态。

(4)完成球体图像采集后，取下球体，进行标定实验。将旋转台和摆角器均调至0°，然后将标定板放置于过球心且垂直于相机光轴的平面位置，对标定板进行拍照，以便得到相机相对P平面的外部参数；最后调整标定板的姿态，得到15～20张不同角度的标定板的图像，完成标定实验。

4 实验结果分析与讨论

4.1 本文算法流程

本文算法流程如图5所示，首先由采集的标定板不同角度的图像计算得到相机的内部参数、外部参数和畸变系数，然后对采集的球在不同姿态的每张图像进行如下操作：

(1)根据求得的相机畸变系数对采集的球的图像进行几何畸变校正。

(2)利用图像预处理、边缘提取和Hough变换[15]等方法拟合球的外圆并求得球心的像素坐标，再根据相机内部参数和相对P平面的外部参数计算得到球心的世界坐标。

(3)提取球面上凹槽所形成的弧线，为了提高透视畸变校正算法的效率，选取弧线上部分像素点进行透视畸变校正，得到其校正后的像素坐标。

(4)利用透视畸变校正后的像素点进行椭圆拟合，得到α、β的值。

4.2 算法对比

文献[4]中通过建立透视投影误差模型对齿轮廓圆的“近大远小”透视畸变进行了校正，其透视投影误差的非线性数学模型如下：

(7)

其中，L0为待测物体在标定平面内的实际长度；S0为标定平面到相机镜头的工作距离；ΔS为待测物体离标定平面的距离；f为相机的焦距。

应用该算法的流程如下：首先对原始图像中提取的球面凹槽形成的弧线进行椭圆拟合，计算出短轴逆映射到标定平面后的等效长度；然后根据逆透视变换计算得到球面弧线上与短轴相交的点离标定平面的距离，以此代表短轴离标定平面的距离；最后应用式(7)中的误差补偿模型对椭圆短轴进行误差补偿。由于该算法是直接对椭圆短轴长度进行误差补偿，因此只能校正α，而β的值与校正前相等。

4.3 实验数据

图6为α=40°、β=-1°时采集的原始图像。图7为应用本文算法对弧线进行透视畸变校正的图像，图中弧线是直接提取的凹槽所形成的弧线，标记点是对弧线上的部分像素点进行透视畸变校正后的像素点位置，图8所示为应用本文算法前后对弧线进行椭圆拟合的结果，图中外侧椭圆为校正前的拟合结果，内侧椭圆为校正后的拟合结果，从图中可以看出校正后的椭圆短轴长度明显小于校正前的椭圆短轴长度，正是由于球体的外轮廓圆所在的平面距离相机较远，凹槽形成的弧线距离相机较近，将弧线上的点全部平移到外轮廓圆所在平面后再次透视投影，短轴长度会变短。

4.4 数据分析与讨论

表1为β理论值为-1°、α理论值为5°～50°时未进行透视畸变校正、应用本文算法和文献[4]的算法进行透视畸变校正计算得到的α和β值的对比。从表中可以看出，在未进行透视畸变校正时计算得到的α误差很大，最小误差为1.499°，最大误差达到了9.210°，平均误差为5.912°，且误差随着其角度的增大也逐渐增大，这正是由于“近大远小”透视畸变造成的，位于光轴附近的图像透视畸变较小，而离光轴较远的图像透视畸变较大，实验数据验证了透视畸变这一特点。未进行透视畸变校正时β的最小误差为0°，最大误差为4.642°，平均误差为1.019°，由此可见

透视畸变对α的影响最大，而对β的影响较小，这是由于β是由椭圆长轴的倾角决定，而椭圆长轴两端始终在同一平面上。

图9为根据表1数据得到的应用本文算法校正后α的绝对误差趋势图，平均误差为0.563°，与校正之前相比精度有了很大提升，并且误差值随α的变化随机波动，但当α=50°时，误差明显较大，这是由于相机景深是一定的，此时椭圆弧线距离初始对焦的位置远大于景深，导致获取的图像模糊，弧线位置提取不准确，使得误差明显增大。应用本文算法校正后β的平均误差为0.372°，精度有了明显提高。

应用文献[4]的算法校正后α的平均误差为1.143°，与校正前相比精度有很大提升，但与本文算法相比，α理论值为10°～50°时其校正精度均低于本文算法的校正精度，只有在α理论值为5°时其精度略高于本文算法的校正精度，这是由于应用文献[4]的算法时，误差补偿值主要由短轴在标定平面的等效长度及短轴到标定平面的距离决定，因此由球的图像拟合的椭圆短轴的精度和β的精度严重影响其最终的校正精度，而在α较小时，透视畸变也较小，由球的图像拟合得到的椭圆短轴长度和β误差都很小，导致α较小时其精度较高。而当α较大时，拟合的椭圆误差也较大，其校正精度较低。由于该算法只能对视觉测量中待测物体的长度进行透视畸变校正，因此并不能对β进行校正，适用范围较小。

为了进一步验证算法的稳定性和有效性，分别计算了不同β值时的球的不同姿态。表2、表3、表4分别对应β理论值为1°、5°、-5°，α理论值为5°～50°时的数据。从表中可以看出，应用本文算法校正后α的平均误差均在0.6°以下，其精度高于应用文献[4]算法校正后的精度，证明了本文算法的先进性。图10、图11、图12分别为根据表2、表3、表4数据得到的应用本文算法校正后α的绝对误差趋势图。

应用本文算法校正后的角度检测误差主要来源是由实验装置带来的系统误差和图像处理过程中弧线提取不准确带来的随机误差。光学平台表面的加工误差和安装误差可能导致其平面并不水平，相机和实验球体安装过程中的误差可能导致初始位置球心、摆角器的摆角中心和相机光轴没有在同一直线上等，这些由于实验装置制造和安装过程中引入的误差都是系统误差；球体最大圆处的圆形凹槽宽度为0.5 mm，深度为1 mm，采集的图像中凹槽所形成的弧线具有一定的宽度，因此在图像处理过程中提取弧线的中心位置的像素点时会带来随机误差。

5 结论

(1)本文基于逆透视变换理论提出了一种面向球姿态检测的图像透视畸变校正方法并从理论上分析了其可行性，详细介绍了图像透视畸变校正方法的步骤；与现有的透视畸变校正算法进行对比，本文提出的图像透视畸变校正方法在球姿态检测中对α和β的测量精度更高，能够满足工业生产中对球姿态的测量需求。

(2)本文提出的图像透视畸变校正方法应用范围广泛，可以应用在具有圆形特征或球形特征物体的视觉检测中，为视觉测量领域提供了一种更高精度的图像透视畸变校正方法。

参考文献：

[1] 喻俊,楼佩煌,武星,等.基于静止和运动两种状态的自动导引车视觉标定[J].中国机械工程,2012,23(6)：703-707.

YU Jun,LOU Peihuang,WU Xing,et al.Vision Calibration for AGV Based on Static and Motion Two States[J].China Mechanical Engineering,2012,23(6)：703-707.

[2] 代勤,王延杰,韩广良.基于改进Hough变换和透视变换的透视图像矫正[J].液晶与显示,2012,27(4):552-556.

DAI Qin,WANG Yanjie,HAN Guangliang.Perspective Image Rectification Based on Improved Hough Transformation and Perspective Transformation[J].Chinese Journal of Liquid Crystals and Displays,2012,27(4):552-556.

[3] 胡东红,汪浩,艾君,等.两种图像校正算法在实际应用中的比较[J].计算机工程与应用,2009,45(13):191-193.

HU Donghong,WANG Hao,AI Jun,et al.Comparisons of Two Kinds of Image Rectification Algorithms[J].Computer Engineering and Applications,2009,45(13):191-193.

[4] 孙钊,许增朴,王永强,等.机器视觉测量中透视投影误差分析控制与补偿[J].计算机工程与应用,2018,54(2):266-270.

SUN Zhao,XU Zengpu,WANG Yongqiang,et al.Control and Compensation of Perspective Projection Error Analysis in Machine Vision Measurement[J].Computer Engineering and Applications,2018,54(2)：266-270.

[5] TSAI R Y.A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J].IEEE Journal on Robotics &Automation,2003,3(4):323-344.

[6] 邹益民,汪渤.基于单视图像的球体姿态估计[J].电子与信息学报,2007(8):1826-1828.

ZOU Yimin,WANG Bo.Estimate of Ball Pose by Monocular Vision Image[J].Journal of Electronics and Information Technology,2007(8):1826-1828.

[7] SHIU Y C,AHMAD S.3D Location of Circular and Spherical Features by Monocular Model-based Vision[C]//IEEE International Conference on Systems,Man and Cybernetics.Yasmine Hammamet,Tunisia,2002：576-581.

[8] 魏振忠,张广军.透视投影变换中椭圆中心畸变误差模型及其仿真研究[J].仪器仪表学报,2003(2):160-164.

WEI Zhenzhong,ZHANG Guangjun.A Distortion Error Model of the Perspective Projection of Ellipse Center and Its Simulation[J].Chinese Journal of Scientific Instrument,2003(2):160-164.

[9] 李颢,杨明.基于非线性逆透视变换的摄像机畸变参数标定[J].上海交通大学学报,2008(10):1736-1739.

LI Hao,YANG Ming.A Nonlinear Inverse Perspective Transform Based Method for Camera Distortion Calibration[J].Journal of Shanghai Jiaotong University,2008(10):1736-1739.

[10] 袁启平,宋金泽,吴涛.基于逆透视投影变换的图像拼接方法[J].微计算机信息,2010,26(21):208-210.

YUAN Qiping,SONG Jinze,WU Tao.A Method for Stitching Images Based on Inverse Perspective Mapping(IPM)[J].Microcomputer Information,2010,26(21):208-210.

[11] ZHANG Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis &Machine Intelligence,2000,22(11):1330-1334.

[12] ZHANG Z.Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C]//The 7th IEEE International Conference on Computer Vision.Kerkyra,1999:666-673.

[13] WENG J.Camera Calibration with Distortion Models and Accuracy Evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(10):965-980.

[14] 程增木,王悦宏,程琳琳.基于逆透视变换的道路检测技术[J].电子科学技术,2016,3(2):113-116.

CHENG Zengmu,WANG Yuehong,CHENG Linlin.Technology of Road Detection Based on Inverse Perspective Transformation[J].Electronic Science and Technology,2016,3(2):113-116.

[15] GONZALEZ R C，WOODS R E.数字图像处理(第三版)[M].阮秋琦,等译.北京:电子工业出版社,2011.

GONZALEZ R C.Digital Image Processing[M].3rd ed.RUAN Qiuqi,et al trans.Beijing:Publishing House of Electronics Industry,2011.

A Method of Image Perspective Distortion Correction in Ball Pose Detections

LIU Jian WANG Yuanyuan

State Key Laboratory of Advanced Design and Manufacture for Vehicle Body,Hunan University,Changsha,410082

Abstract:Aiming at the problems of image foreshortening effects in ball pose visual detections,a correction method of image perspective distortions in ball pose detections was proposed.Based on the camera imaging model,the characteristics and causes of perspective distortions were analyzed.According to the spherical feature model,camera calibration technology and principles of reverse perspective transformation,an image correction model of perspective distortions was constructed to correct the perspective distortions of the ball’s arbitrary pose images.The experimental results show that the average absolute errors of detecting ball pose less than 60mm in diameter by using this method is less than 0.6°.And this method is applicable to other visual measurements of spheres.

Key words:visual measurement；ball pose detection；reverse perspective transformation；perspective distortion correction；calibration

中图分类号：TP391

DOI：10.3969/j.issn.1004-132X.2019.018.016

开放科学(资源服务)标识码(OSID)：

收稿日期：2018-05-29

基金项目：科技部创新方法专项(2016IM030300)；工信部智能制造综合标准化与新模式应用项目(2016ZXFM02016)；湖南大学汽车车身先进制造国家重点实验室自主研究课题(71675001)

(编辑 王旻玥)

作者简介：刘坚，男，1975年生，教授、博士研究生导师。研究方向为智能制造、机器视觉。E-mail：liujian@hnu.edu.cn。