双目标定

1. 基本思路
   标定板上有一个点的世界坐标，可以理解为世界坐标系下的向量
   左右相机的主点在世界坐标系下已知坐标位置，那么同样可以理解为两条向量
   双目校正确实就是获得主点之间的旋转+平移的转换关系
   那么通过 标定板上的这一个点构成的向量可以建立约束关系
2. 基础概念

• 主点：光轴与相机成像平面的点
• \(P_w: 标定板上的某个点在世界坐标系下的坐标\)
• \(P_l,P_r :左右相机在世界坐标系下的坐标 \)
• \(R_l,T_l,R_r,T_r:标定板上的点(其实可以理解为向量)相对左右相机主点(也是理解为向量)的旋转、平移矩阵 \)
• 单个相机标定完成后，标定板上的点到主点的转化关系是已知的
• 旋转矩阵是单位正交矩阵，那么矩阵的逆等于矩阵的转置

2. 公式推导

• 可以将标定板上的点构成的空间向量 通过 旋转+平移变换成 左右相机主点构成的空间向量

  $$ \left\{ \begin{matrix} P_l = R_l \cdot P_w+T_l \\ P_r = R_r \cdot P_w + T_r \end{matrix} \right. $$

• 通过反解出\( P_w \) 向量，可以建立约束

  $$ \left\{ \begin{matrix} P_w = (R_l)^{-1} \cdot (P_l-T_l) \\ P_w = (R_r)^{-1} \cdot (P_r-T_r) \end{matrix} \right. $$

$$ (R_l)^{-1} \cdot (P_l-T_l) - (R_r)^{-1} \cdot (P_r-T_r) = 0 $$

• 待求解方程 , （其中 R 和 T是需要求解的参数）

  $$ P_r = R \cdot P_l + T $$

• 将约束方程转换为上述求解式子形式，得到最终的解

  $$ P_r = [R_r \cdot (R_l)^{-1}]P_l + [T_r-R_r(R_t)^{-1}T_l] $$

• 得到初始的标定结果

  $$ \left\{ \begin{matrix} R = R_rR_l^T \\ T = T_r-RT_l \end{matrix} \right. $$

• 标定结果优化
  一般是有多个点建立多个约束方程，通过最小二乘法拟合
  lidar和camera联合标定采用了 LM算法迭代求解的方式，寻找最优估计

todo 极线校正，还没有转化为自己的理解，或是自己的语言去描述这件事