摄像机模型

本文是鲁鹏老师机器视觉课程的笔记

针孔模型与透镜

image.png

image.png

虚拟像平面是倒着的

image.png

image.png

\(\dfrac{y'}{f}=\dfrac{y}{z}\quad\implies y'=f\dfrac{y}{z}\)

\(\dfrac{x'}{f}=\dfrac{x}{z}\quad\implies x'=f\dfrac{x}{z}\) \(P=\begin{bmatrix}x\\ y\\ z\end{bmatrix}\to P'=\begin{bmatrix}x'\\ y'\end{bmatrix}\quad\quad\)

\(\begin{cases}x'=f\dfrac{x}{Z}\\ y'=f\dfrac{y}{Z}\end{cases}\)

光圈尺寸

光圈偏大会导致场景模糊

光圈偏小会场景清晰，但偏暗

增加透镜 - 透镜将多条光线聚焦到胶片上，增加了照片的亮度： - 所有平行于光轴的光线都会会聚到焦点，焦点到透镜中心的距离称为焦距 - 穿过中心的光线的方向不发生改变

根据折射定律： \(f=\frac{ {R} }{ {2}({n}-1)}\) ,\(R\) 是透镜球面半径，\(n\)是透镜折射系数

\(z'=f+z_0\quad\begin{cases}x'=z'\dfrac{x}{z}\\ y'=z'\dfrac{y}{z}\end{cases}\)

要是透镜不合适，则会发生失焦

透镜将光线聚焦到胶片上 - 物体“聚焦”有特定距离 - 景深

径向畸变

图像中所成的像发生形变

径向畸变:图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致

image.png

枕形畸变：畸变像点相对于理想像点沿径向向外偏移,远离中心 桶形畸变：畸变像点相对于理想点沿径向向中心靠拢

摄像机几何

齐次坐标

\(E\to H\) 图像点的齐次坐标\(\text{}(x,y)\Rightarrow\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\)

空间点的齐次坐标\((x,y,z)\Rightarrow\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\)

\(H \to E\) \(\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\Rightarrow\left(x/w,y/w\right)\)

\(\left[\begin{array}{c}x\\ y\\ z\\ w\end{array}\right]\Rightarrow\left(x/w,y/w,z/w\right)\)

\(H \to E\) 的转变不是唯一的，但\(E \to H\) 的转变是唯一的

像素坐标系

建立像平面到像素平面关系

1. 偏置

image.png

image.png

\((x,y,z)\to(f\dfrac{x}{z}+c_x,f\dfrac{y}{z}+c_y)\)

2. 单位变换 \((x,y,z)\to({fk}\frac{x}{z}+c_x,{fl}\frac{y}{z}+c_y)\) 单位：k.l：pixel/m , f:m k表示竖直方向上多少米表示一个像素，l表示水平方向上多少米表示一个像素

记\(fk\)为\(\alpha\) ,\(fl\)为\(\beta\) \(P=(x,y,z)\rightarrow P^{\prime}=\left(\alpha{\frac{x}{z} }+c_{x},\beta{\frac{y}{z} }+c_{y}\right)\) ，这里的\(c_x,c_y\)是像素上的偏置

\(P=(x,y,z)\rightarrow P^{\prime}=\left(\alpha{\frac{x}{z} }+c_{x},\beta{\frac{y}{z} }+c_{y}\right)\)是非线性变换

在齐次坐标系下 \(P_h'=\begin{bmatrix}\alpha x+c_x z\\ \beta y+c_yz\\ z\end{bmatrix}=\begin{bmatrix}\alpha&0&c_x&0\\ 0&\beta&c_y&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}x\\y\\z\\1\end{bmatrix}\)

\(P'_h\to P'=(\alpha\dfrac{x}{z}+c_x,\beta\dfrac{y}{z}+c_y)\)

\(P'_h\)是齐次，\(P'\) 是欧式

摄像机的投影矩阵

image.png

\(P'=\begin{bmatrix}\alpha&0&c_x&0\\ 0&\beta&c_y&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}x\\ y\\ z\\ 1\end{bmatrix}=MP\)

其中\(M=\begin{bmatrix}\alpha&-\alpha\cot\theta&c_x&0\\ 0&\dfrac{\beta}{sin\theta}&c_y&0\\ 0&0&1&0\end{bmatrix}\)

此时\(P\)和\(P'\) 是线性表示 \(P'\)是\(3*1\)矩阵，\(P\) 是\(4*1\)矩阵

摄像机偏斜

\(P'=\begin{bmatrix}\alpha&-\alpha\cot\theta&c_x&0\\ 0&\frac{\beta}{sin\theta}&c_y&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}x\\ y\\ z\\ 1\end{bmatrix}\)

摄像机坐标系下的摄像机模型

\(P'=\begin{bmatrix}\alpha&-\alpha\cot\theta&c_x&0\\ 0&\frac{\beta}{sin\theta}&c_y&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}x\\ y\\ z\\ 1\end{bmatrix}=MP\)

\(M=\begin{bmatrix}\alpha&-\alpha\cot\theta&c_x&0\\ 0&\frac{\beta}{sin\theta}&c_y&0\\ 0&0&1&0\end{bmatrix}\)被称为投影矩阵，

\(K=\begin{bmatrix}\alpha&-\alpha\cot\theta&c_x\\ 0&\frac{\beta}{sin\theta}&c_y\\ 0&0&1\end{bmatrix}\) 被称为摄像机内参数矩阵，内参数矩阵决定了摄像机坐标系下空间点到图像点的映射

摄像机内参数为\(\alpha,\beta,c_x,c_y,\theta\)，K有五个自由度

规范化投影变换

\(P'=\begin{bmatrix}x\\ y\\ z\end{bmatrix}=\begin{bmatrix}1&0&0&0\\ 0&1&0&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}x\\ y\\ z\\ 1\end{bmatrix}\)

已知摄像机矩阵\(M\) , \(P'=I(MP)\),\(I=\begin{bmatrix}1&0&0\\ 0&1&0\\ 0&0&1\end{bmatrix}\)

\(\begin{array}{c}\Re^4\xrightarrow{H}\Re^3\\ \boldsymbol{P'}=M\boldsymbol{P}\end{array}\)

\(P\) 的欧式坐标\(\left[\begin{array}{c}{ {\frac{x}{z} }}\\ { {\frac{y}{z} }}\\ \end{array}\right]\)

世界坐标系

image.png

\(O_w\) 为世界坐标系 \(O\)摄像机坐标系,\(C'\)像平面坐标系

齐次坐标系\(P=\left[\begin{matrix}{R}&{T}\\ {0}&{1}\\ \end{matrix}\right]\boldsymbol{P}_{w}\) , \(\begin{bmatrix}x_w\\ y_w\\ z_w\\ 1\end{bmatrix}\) ，即摄像机坐标系是世界坐标系经过一个旋转，再经过一个平移得到的

世界坐标系下\(P_w=R^T(P-T)\)

从世界坐标系到像素坐标系\(P'=K[I\quad0]P=K[I\quad0]\begin{bmatrix}R&T\\ 0&1\end{bmatrix}P_w=K[R\quad T]P_w=MP_w=\left[{\begin{matrix}{m_{1} }\\ {m_{2} }\\ {m_{3} }\end{matrix} }\right]P_{\mathrm{w} }\) \(\begin{bmatrix}R & T\end{bmatrix}\)称为外参数矩阵，K是内参数，这就是完整的摄像机模型

\(M\) 称为投影矩阵，有11个自由度

摄像机O点坐标为\(-R^TT\)

\(\left[{\begin{matrix}{m_{1} }\\ {m_{2} }\\ {m_{3} }\end{matrix} }\right]P_{\mathrm{w} }\) 是转换为欧式坐标系的写法，\(m_i\) 是一个\(1*4\) 的矩阵

image.png

投影变化的性质

1. 点投影为点
2. 线投影为线
3. 近大远小
4. 角度不再保持
5. 平行线相交

其他摄像机模型

透视投影摄像机

^b240bc

image.png

\(P'_{3\times1}=MP_W=K_{3\times3}[R\quad T]_{3\times4}P_{W4\times1}=\begin{bmatrix}m_1\\ m_2\\ m_3\end{bmatrix}P_w=\begin{bmatrix}m_1P_w\\ m_2P_w\\ m_3P_w\end{bmatrix}\stackrel{E}{\longrightarrow}(\dfrac{m_1P_w}{m_3P_w},\dfrac{m_2P_w}{m_3P_w})\quad,M=\begin{bmatrix}m_1\\ m_2\\ m_3\end{bmatrix}\)
### 弱透视投影摄像机

image.png

\(\begin{cases}x'=\dfrac{f'}{z}x\\ y'=\dfrac{f'}{z}y\end{cases}\rightarrow\begin{cases}x'=\dfrac{f'}{z_0}x\\ y'=\dfrac{f}{z_0}y\end{cases}\)

从投影（透视）到弱透视\(M=K[RT]=\begin{bmatrix}A_{2\times3}&b_{2\times1}\\ v_{1\times2}&1\end{bmatrix}\quad\to M=\begin{bmatrix}A&b\\ 0&1\end{bmatrix}\quad\)

\(P'=MP_w=\begin{bmatrix}m_1\\ m_2\\ m_3\end{bmatrix}P_w=\begin{bmatrix}m_1P_w\\ m_2P_w\\ 1\end{bmatrix}\stackrel{E}{\longrightarrow}\left(m_{1}P_{W},m_{2}P_{w}\right)\) ,\(m_1,m_2\) 为放大率

\(M=\begin{bmatrix}A&b\\ v&1\end{bmatrix}=\begin{bmatrix}m_1\\ m_2\\ m_3\end{bmatrix}=\begin{bmatrix}&m_1&\\ &m_2&\\ 0&0&0&1\end{bmatrix}\)

正交投影摄像机

image.png

\(\begin{cases}x'=\dfrac{f'}{z}x\\ y'=\dfrac{f'}{z}y\end{cases}\quad\to\quad\begin{cases}x'=x\\ y'=y\end{cases}\)

各种摄像机模型的应用场合

• 正交投影
  • 更多应用在建筑设计(AUTOCAD)或者工业设计行业
• 弱透视投影在数学方面更简单
  • 当物体较小且较远时准确，常用于图像识别任务
• 透视投影对于3D到2D映射的建模更为准确
  • 用于运动恢复结构或SLAM