所谓的归一化的成像平面，就是将三维空间点的坐标都除以Z。


所有空间点坐标都转到了相机前单位距离处，这个平面就叫归一化的平面，之后再乘以焦距$f$，让归一化平面回到成像平面。以一张别的博主做的图为例说明各个坐标系的转换关系：

参考：
高翔 视觉SLAM十四讲
https://blog.csdn.net/weixin_38133509/article/details/85689838

重投影误差的定义：

考虑到n个三维空间点P和他们的投影p，我们希望计算R，t，用李代数表示为T 。假设某空间点$P_i={\left[X_i,Y_i,Z_i\right]}^T$，其投影的像素坐标为${\mathbf{u}}_i={\left[u_i,v_i\right]}^T$，像素位置与空间点位置的关系如下：

写成矩阵形式：
$s_i{\mathbf{u}}_i=\mathbf{K}\exp \left({\mathbf{\xi }}^{\wedge }\right){\mathbf{P}}_i$
由于相机位姿未知以及观测点的噪声，该等式存在一个误差。我们将误差求和，构建最小二乘问题，然后寻找做好的相机位姿，使它最小化：

这个误差项就叫做重投影误差的和。

或者参考：

该图片来自：https://blog.csdn.net/bufengzj/article/details/103336170