前言：

对很多刚入行做camera tuning的小伙伴来说，可能对图像质量还不是很了解，包括我自己刚开始接触这一行的时候也是一样，不清楚ISP是什么，为什么要调它，影响画质的因素又有哪些，哪些是ISP能调的，哪些又不能调的，所以本文主要是从概念上简单介绍下图像质量，从图像质量介绍、成像系统介绍、影响图像质量的典型因素举例，三块内容来概述的，希望对刚入行的小伙伴有所帮助，可以加深一下对图像质量的理解；

目录

1、图像质量介绍

1-1、成像产品的分类

1-2、图像质量分类

1-3、成像产品的图像质量要求

2、成像系统介绍

2-1、成像系统组成

2-2、成像系统的两条基本主线

2-3、成像系统的实时控制

3、影响图像质量的典型因素举例

3-1、光学及镜头、IR相关的图像质量问题 

3-2、CMOS Sensor 相关的图像质量问题

3-3、ISP 相关的图像质量问题

3-4、Encoder 相关的图像质量问题

3-5、显示相关的图像质量问题 

1、图像质量介绍

1-1、成像产品的分类

1-2、图像质量分类

• 审美型 （  人眼评判 ）

        no artefacts !  color，noise，detail，focus speed、etc

• 信息型（ 机器识别、检测 ）

        fast，no information lost，visibility，certain level tolerace to artefacts、etc

• 根据图像质量需求的成像产品分类

1-3、成像产品的图像质量要求

审美类成像产品的图像质量要求

• 单反相机 -- 真实的还原现实世界，需要遵循一定的客观成像标准CIPA，ISO，如有艺术创作的需要可以用PS等软件对照片进行后处理；

• 手机相机 -- 偏向于人眼视觉，对人/人脸的拍摄有一定要求；

• 无人机/ 运动相机 -- 视频的稳定性（防抖、不允许画面突变），对人/人脸的拍摄有一定要求；

• 监控相机 -- 低照度噪声（时域，空域）、HDR、高锐度、对人/人脸的拍摄有一定要求；     

信息类成像产品的图像质量要求

• 机器视觉相机 -- 人/人脸、 高感光度；

• Home Camera -- 家用相机，和监控相机类似，对人脸识别有一定要求；

• 车载相机 -- 高动态范围、高感光度、高帧率、motion artefacts、stitching artifacts、满足一定的人眼视觉（有前视/后视的摄像头是人眼来看的）；

2、成像系统介绍

2-1、成像系统组成

• 要理解图像质量，就必须要了解整个成像系统的组成，搞清楚整个成像系统中有哪些模块会影响图像质量，如上以成像过程来描述，光源（包含人造光、自然光、闪光灯）照到物体上，光线反射进入成像系统，经过镜头（对于变焦镜头有驱动马达调整镜片位置，实现变焦）、光圈、滤光片、快门到达Sensor上成像，接着出来数字信号传到ISP进行图像处理，ISP输出YUV格式的数据，用于显示或者经过编码后进行存储，又或者用于机器视觉；所以影响图像质量的因素有很多，包括光源、镜头、滤光片、Sensor、ISP、显示器的显示、编码 ........

• 理解一下就是光源、镜头、光圈、滤光片、快门、Sensor构成了一个完整的光学成像系统，但由于光学和半导体的缺陷与局限会导致成像的一系列问题，就需要经过ISP，用数字信号处理的方法去克服光学，半导体的缺陷导致的成像问题，处理完并得到较好的图像后，就用来进行图像的显示、存储、或者机器视觉的检测识别等应用；

• 总结：整个成像系统是一个软硬结合、光机电结合的复杂系统，做有些系统架构和硬件架构的人，有必要了解整个系统，才能够设计出正确的架构，包括做图像质量的也是从系统角度去处理问题，同样要了解整个系统，才能更好的完成工作；

2-2、成像系统的两条基本主线

图像重建 --- 清晰勾画出正确的景物（ 图像重建的过程，就是用数字信号处理的方法去克服光学、半导体的缺陷，清晰勾画出正确的景物 ）

• 光学缺陷与局限： MTF、像差、场曲、vignetting（光晕，暗角）/luma shading（亮度阴影）、glare（眩光）、Geometry Distortion（几何失真）

• 半导体缺陷与局限：defect pixel、sensitivity、dynamic range、noise：temperal noise、fix pattern noise、color noise、spatial noise

色彩重建 --- 还原出准确丰富的色彩 （ 有时还要符合人们主观倾向的色彩 ）

• 光学缺陷与局限：Color shading、chromatic aberration、purple fringe

• 半导体缺陷与局限：Cross talk、balck level

2-3、成像系统的实时控制

一般从硬件厂商那边拿到的相同产品，成像效果都是差不多的，所以要有更好的用户体验就必须在软件上面增加自己的优化，如3A算法、后处理算法；

• 系统的静态参数：black level、shading、noise profile、white balance、chromatic aberration correction

• AE\AWB\AF（自动曝光、自动白平衡、自动对焦）：达到曝光/白平衡/对焦的“快”、“准”、“稳”

• 系统的动态参数：shading，CCM， black level，noise reduction，sharpening

3、影响图像质量的典型因素举例

3-1、光学及镜头、IR相关的图像质量问题 

• 畸变

• luma shading

• color shading

• 眩光、鬼影

• 紫边

3-2、CMOS Sensor 相关的图像质量问题

• 坏点

出现原因：

1、工艺上：在sensor的制作过程中有灰尘等引起；电子产品的寿命有限，导致使用时间增加而引起坏点；

2、noise:  sensor gain增大，温度增高等；

措施：sensor 和 ISP 都有相关去坏点的模块，ISP去坏点强度过大的话，会导致损失清晰度，需权衡

• 噪声（Fix pattern noise 、热噪）

出现原因：

1、FPN和sensor 相关，类似上图这种不动的竖条纹都和sensor相关，横条纹和硬件相关；

2、热噪，就是camera 产品内部温度过高，导致的sensor 出现噪点，可能与芯片功耗过高、外壳空间小 ；

措施：

1、bringup sensor时，提高增益，验证是否有FPN，有的话就要找sensor 厂修改sensor 相应寄存器；

2、主控降频，降低功耗、更改机构（换4层板、主控芯片和sensor 分开、换大空间的外壳大散热片）、sensor有类似的高温参数的修改；

• sensor filp/mirror

sensor mirror/filp功能是硬件设计时，来保证和设计的成像方向保持一致，不能作为功能去使用；

原因：

1、经过mirror/filp 后sensor 读取位置变了，bayer格式也变了 ，对于一些要依赖calibration数据的模块，数据肯定是有差异的，比如shading；

2、经过mirror后，拍出的colorcheck的raw图也是镜像的，没办法进行ccm、blc的校正 ( ISP的调试流程，一般是先根据拍出的raw图，进行矫正 ）；

措施：ISP去做filp/mirror的功能、后端应用层去做；

3-3、ISP 相关的图像质量问题

• 运动拖影

1、时域降噪强度过大导致的拖影

措施：降低时域降噪强度 ( 调试时可以通过bypass 相应的模块来做验证是否是它导致的 ) ,但可能会导致动态噪声明显，需权衡；

2、曝光时间过长导致的拖影

出现原因：运动物体整个运行过程都是在cmos上成像的，所以拍出的照片就有拖影， 只有当曝光时间足够快，物体相对于相机就是相对静止的，也就看不到有拖影了；

措施：就因为曝光不充分，所以要曝光时间长，可以换成高感光度的sensor, 以此就可以减小曝光时间；

3、HDR算法中，多帧融合导致的拖影

4、果冻效应

出现原因：使用逐行曝光的sensor所致，因为sensor是逐行曝光的，行与行之间有时间差，当拍摄快速运动的物体时，会导致成像物体会有扭曲，被拉长了，注意要和曝光时间导致的拖影做区分，曝光时间过长会有拖影，但不会导致成像物有变形；

措施：

1. 如果使用卷帘快门（Rolling Shutter）的摄像机，尽量提高摄像机的拍摄帧率，实际上是减少形成一帧画面所使用的扫描时间，这样在短时间内物体移动并不明显，能缓解果冻效应。

2. 换用全局快门（Global Shutter）的相机，采用CCD感光元件彻底解决果冻效应。全域快门（Global shutter）：传感器上所有像素点在同一时间同时收集光线，同时曝光。对于抓拍高速运动的物体CCD优劣势：由于技术限制，很难将巨大的数据量同时处理。

3.设置逐行读取的速度，将其设置的更快更高，这样也能避免果冻效应，尽量减少本身所处环境的震动情况。提高快门的速度，直接采取高速快门。

3-4、Encoder 相关的图像质量问题

Encoder目的就是将原始的ISP输出的图像进行压缩，使传输、存储的size变小，由于压缩过程中，算法或者资源不足的问题，导致的图像质量损失，所表现出的形式有很多种，具体如下；

• mosaic

• ringing （震铃）

文字及图像边缘出现很多条边，在拍摄文字图像时比较常见；

• contouring

类似等高线现象；

• blurry（模糊）

• mosquito （蚊子噪声）

3-5、显示相关的图像质量问题 

• 电视的PQ（ Picture-Quality）会导致Camera 显示效果不一致（亮度、色彩、噪声等方面）；
• 显示器色域、色准差异会导致Camera 显示效果不一致；

注： 【硬件科普】显示器的色域和色准是什么东西？他会影响哪些体验_哔哩哔哩_bilibili

如下图所示，显示器有不同的规格差异，包括色域、色彩空间、色准，这些都会影响camera输出的效果，效果测试时要注意到这些；