欢迎进入南京市某某电子仪器有限公司网站
全国服务热线
4008-888-888
AGV激光导航之SLAM基础:相机与图像
时间: 2020-11-12 19:57 浏览次数:
相机模型相机摄影,是将三维国际中的一个三维点映射到对应的二维印象平面的进程。这个进程能够用一个几许模型来进行描绘。在各式各样的模型中,最简略也最常用的便是针孔相......

博天堂下载相机模型

相机摄影,是将三维国际中的一个三维点映射到对应的二维印象平面的进程。这个进程能够用一个几许模型来进行描绘。在各式各样的模型中,最简略也最常用的便是针孔相机模型,也叫针孔模型。这个模型较为简略,而因为相机镜头上透镜的存在,成像的进程中会有畸变发生。为此,需求别的对畸变进行建模。


针孔相机模型

初中物理里都会有一个小孔成像的试验,这个小孔成像的模型能够看作是针孔相机模型的根底。



如上图所示,相机坐标系为O-x-y-z,想象人站在相机后边,O 为相机光心,z轴指向相机前方,x 轴向右而y 轴向下。实在国际中的一个点P,经过小孔O 投影后,落在物理成像平面O -x -y 上,称为像点P 。

假定P在相机坐标系下的坐标为[X, Y, Z]T,P 为[X , Y , Z ]T,焦距为f。依据类似三角形有:

其间,负号表明所成的像是倒竖的。

习气上把成像平面对称到相机的前方,再收拾一下上式即可得:

至此,咱们描绘了点P 和它的像之间的空间联系。在数码相机中,咱们终究得到的是由一个个像素组成的数字印象,这需求在成像平面上进行采样和量化。这儿就不针对二者进行介绍了。

在物理成像平面上界说一个像素坐标系 o -u-v。相同地想象人站在相机之后,其原点o 坐落图画的左上角,u轴向右和x 轴平行,v 轴向下和y 轴平行。假定P 的像素坐标为[u, v]T。像素坐标系和物理成像平面O -x -y 之间相差缩放和平移。因而,假定像素坐标在u轴上缩放了 倍,在v 轴上缩放 倍。搭档,二者之间的平移量为[cx, cy]T。那么,P 在物理成像平面下的坐标和其像素坐标间的联系为:

将式 代入并把  合并成  ,把  合并成 ,可得:

上式便是相机坐标系下,一个空间点的三维坐标到其对应像点到像素坐标到转化联系。其间,f 的单位为米,  的单位为像素/米。

运用齐次坐标,将上市写成矩阵办法可得:

上式中,K 称为相机矩阵或许内参数矩阵,因为它包括的都是相机的参数。一般习气把Z 放在左边,核算完后再对成果除以其第三个值以得到像素坐标。一般以为相机矩阵在出厂之后是固定的并由厂家给出。假如没有则能够对相机进行标定以得到相机内参。


留意一直到这儿,咱们都没有触及到相机的位姿T,因为咱们一直在相机坐标系下。相机的位姿描绘了相机在国际坐标系下的方位和姿势,也给出了国际坐标系到相机坐标系的改换联系。举例来说,关于一组相片,假如取第一张相片对应的相机坐标系为国际坐标系,则对应的相机位姿为旋转矩阵为单位阵而平移向量为0。而其他相片对应的相机位姿为该国际坐标系下到该相片对应的相机坐标系的改换联系。


因为相机在运动,所以点P 的相机坐标应该是它的国际坐标,记作Pw,依据相机当时的位姿改换到相机坐标系下的成果。

上式运用了齐次坐标而且包括了一次齐次坐标到非齐次坐标的改换。其间,R,t 或着T 表明相机的外参数,它会跟着相机的运动而发生改动,是SLAM 进程中待估量的方针,表明着机器人的轨道。最终,上式的T 为Tcw,表明国际坐标系到相机坐标系的改换,其转置为Twc。

留意到齐次坐标乘上一个非零常数后表明的是同一个点,所以能够把上市左边中的Z 去掉。

前面咱们说到这个式子包括一次齐次坐标到非齐次坐标的改换。因为右侧的TPw 是一个4维向量。将之除以最终一维并取前三维得到相机坐标系下的三维坐标。关于这个三维向量,依照齐次坐标的办法,能够再对其最终一维进行归一化处理,就得到了P 在相机归一化平面 上的投影:

此刻,Pc 能够看成是一个二维的齐次坐标,称为归一化坐标。它能够看成是坐落相机前方z = 1 处的平面上,该平面称为归一化平面。Pc 经过相机内参后就得到了像素坐标,所以能够把像素坐标[u, v]T 看成是归一化平面上的点进行量化丈量的成果。

盗图一张,来自高博的《视觉slam十四讲》

这一末节咱们介绍了相机模型和各个坐标系的转化联系。其间触及了国际坐标系,相机坐标系,归一化坐标,像平面坐标系和像素坐标系。要留意它们之间的差异和两两之间的转化联系。


畸变

为了获得好的成像作用,一般会在相机前方加上各种透镜。这就会对光线的传达发生新的影响:

透镜本身对光线传达的影响;

因为机械拼装中的差错,导致透镜和称像平面不完全平行而发生的差错。


第一种原因引起的畸变称为径向畸变。因为在实践的加工进程中,透镜一般是中心对称的,这就使得这种畸变一般也是径向对称。它首要分为两大类:桶形畸变和枕形畸变。

能够看大,桶形畸变是由图画的放大率跟着光轴之间的间隔添加而减小;枕形畸变则相反。它们是径向畸变,因而穿过图画中心和光轴有交点的直线能坚持形状不变。


而第二种原因引进的畸变称为切向畸变,并不存在对称性质。


前面说过,假定某一点P的归一化表明为[x, y]T。也能够用极坐标来表明它,写作  . 径向畸变能够看作是坐标点沿着长度方向发生了改变  ,也便是其间隔原点的长度发生了改变;切向畸变能够看成是坐标点沿着切线方向发生了改变,也便是水平夹角改变了  。


关于径向畸变,因为它们都是跟着与中心之间的间隔添加而添加,因而能够用一个多项式函数来描绘畸变前后的坐标改变:

在上式中,关于畸变较小的图画中心区域,畸变纠正首要是k1 起作用;关于畸变较大的边际区域,首要是k2 起作用。依据所用镜头,能够恰当运用适宜的校对系数。

关于切向畸变,能够运用别的的两个参数p1, p2 来进行纠正:

联合上面两个式子,关于相机坐标系中的一点P [X, Y, Z],找到其对应像点的像素坐标的进程能够描绘为:

将三维空间点投影到归一化图画平面。设它的归一化坐标为[x, y]T;

进行畸变纠正:

经过相机的内参数,运用纠正后的点求的该点的像素坐标:

双目相机模型

针孔相机模型描绘了单个相机的成像进程。但仅有一张相片是不足以确认对应空间点的具体方位的。考虑相机光心O 和像点p,二者的连线在物方空间是一条射线,这条射线上的一切点都或许投影到这个像点上。只有当P的深度确认时,才干确认它的空间方位。


确认深度的办法有许多种,人眼便是一个典型的双目相机模型:经过左右眼看到的景象的差异来判别物体与咱们之间的间隔。运用双目相机,一起收集左右相机的图画,核算图画间的时差,以此估量每一个像素的深度。



双目相机一般由左右两个相机组成,能够把两者都看作是针孔相机。左右相机间的间隔称为基线。

考虑一个空间点P,它在左右相机上的像点别离为Pl, Pr。在抱负情况下,这两个像的方位的差异只出现在x 轴上。记左右像点的x 轴上的像素坐标别离为uL, uR。依据下图所示的类似三角形有:



能够看到,视差与间隔成反比。时差越大,间隔越近。此外,基线d 确认了双目相机能确认的深度的最大值。基线越长,能测得的间隔就越远。


RGB-D 相机模型

RGB-D 相机能够主动丈量每个像素的深度。现在的RGB-D 相机按原理能够分为两大类:


经过红外结构光 来丈量像素深度,如Kinect 1;


经过飞翔时刻 来丈量像素深度,如Kinect 2.


丈量了深度后,RGB-D 相机一般依照相机摆放方位,主动完结深度图和五颜六色图之间的配对作业,输出一一对应的五颜六色图和深度图。如此,咱们就能够在两张印象上的同一个像素方位读取到颜色信息和深度信息,核算像素的三维坐标。


图画

在核算机中,图画是一个二维数组/ 矩阵。以最简略的灰度图为例,每个像素方位 对应一个灰度值I。则一个宽为w 高为h 的图画能够表明为:

因为存储空间和数值精度的约束,咱们无法表达出一切颜色。常用0 - 255 的整数来表达图画的灰度强度。则一张宽640 高480 像素分辨率的灰度图就表明为:

留意到高度为图画的行数而宽度则为列数。而核算机中第一个下标为数组的行,第二个下标为数组的列。表明为:


留意到这儿y 轴是行而x 轴是列。所以假如咱们想拜访像素坐标为 的像素,则应写为:

请读者留意这儿x 和y 的次序。这是许多程序过错的原因。


五颜六色图画因为在一个方位上一起有RGB 别离对应的像素强度,所以引进了通道 的概念。关于每一个像素,用三个通道别离保存其R、G、B 上的像素值。和灰度图相同,每个通道一般也是一个字节,五颜六色图的一个像素需求24 位存储空间。


关于RGB-D 相机发生的深度图,间隔单位一般为毫米,8 位存储空间只能表明0.255 米,显然是不行的。一般选用16位整数来记载深度图的信息。16位整数能表明0 - 65535 之间的数值,最大值大约为65米。从这儿咱们也能够看出,RGB-D 相机不能表明大范围的间隔信息。

Copyright © 南京市某某电子仪器有限公司 版权所有
全国服务电话:4008-888-888   传真:
公司地址:    

客服
点击这里给我发消息 在线客服
电话
服务电话:
4008-888-888
微信

微信公众号