1 ISP的概念

        ISP是Image Signal Processor 的简称，也就是图像信号处理器。ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做BLC黑点平校正、坏点校正、Lens Shading、Gamma 校正、去马赛克、色彩校正等等功能的处理。通过ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。

2 ISP Process Overview

ISP三大处理模块IFE、BPS、IPE

        由sensor输出的数据进入ISP进行处理时，按照数据类型不同，数据会进入不同的通路进行处理。

        当视频与预览数据进入ISP后先进入IFE模块进行处理，出来YUV格式的图像信息进入IPE进行处理，最后输出到视频处理单元VPU和显示处理单元DPU。

        快照的数据进入ISP后进入BPS模块进行处理，出来YUV格式的图像信息进入IPE进行处理，从IPE出来的信息输出到JPEG编码器，最终生成JPEG格式的图片。

3 ISP Process（ISP Pipeline）

        isp process也就是我们说的isp pipeline。

Sensor (RAW) → BPC → BLC → LSC → RAW Denoise → AF/AE/AWB Stats → Demosaic → AWB → CCM → Gamma  → NR → Sharpening 

这是一个比较简单的ISP pipeline，每个平台都有不同，但基本大同小异

3.1 BLC黑点平矫正

        BLC全称为Black Level Correction，黑电平用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响， 传感器出来的实际原始数据并不是我们需要的黑平衡（ 数据不为0） 。 导致图像整体呈现雾状，黑色不够黑。所以，为减少暗电流对图像信号的影响，可以采用加偏移值、减去暗电流信号等有效的方法消除影响。

3.2 BPC坏点矫正

        坏点在黑暗或均匀照明条件下，缺陷像素与阵列中的其他像素明显不同。缺陷像素在图像上会表现为亮点或暗点，这些点称为坏点。导致坏点的原因有制作工艺的缺陷、温热影响、人工生成等。解决方法一般分为两种：一种自动检测坏点并自动修复， 另一种通过OTP 的方式，建立坏点像素链表进行固定位置的坏像素点修复。

 

3.3 LSC镜头阴影矫正

        LSC全称为Lens Shading Correction，由于镜头的通光量从中心到边角减小，造成sensor的亮度到边角的变小，导致图像中心亮，四周逐渐变暗。

其校正方法如下：

1）拍摄各色温光源下均匀光图片，获取镜头亮度均匀性数据;

2）将图像分割成m*n块，并计算每一块平均亮度，求取与中心块亮度比值;

3）对各块乘以数字增益提升亮度。

3.4 Denoise Raw原始数据降噪

        对原始图像数据进行降噪处理，减少图像因高 ISO、低光等产生的随机噪声。

3.5 AF 、AE 、AWB 

        分别是自动对焦（Auto - Focus）、自动曝光（Auto - Exposure）、自动白平衡（Auto - White Balance）的统计信息模块 。它们在图像经过镜头阴影校正后，收集相关信息，为后续自动对焦、曝光和白平衡调整提供依据。3A的具体原理我会在后续出文章具体讲解

3.6 Demosaic

        光线中主要包含三种颜色信息，即R、G、B。但是由于像素只能感应光的亮度，不能感应光的颜色，使用一个滤光层，使得每个像素点只能感应到一种颜色的光。主要应用是对 Bayer 格式原始数据进行插值，估算每个像素完整的 RGB 颜色，将数据转换为全分辨率 RGB 图像。

        每个像素点只能感应到一种颜色。找到一种方法来复原该像素点其它两个通道的信息，利用其周围像素点的值使用插值算法来获得该点其它两个通道的值。经过去马赛克处理，RAW格式图像转为RGB图像。

3.7 AWB

       自动白平衡校正，Auto White Balance，根据统计信息，自动调整图像色彩，使白色物体在不同光照条件下都呈现白色，校正图像整体色彩平衡。

3.8 CC色彩校正

        CC全程为Color Correction，颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般来说，我们可以通俗的用 RGB三基色的概念来理解颜色的分解和合成。理论上，如果人眼和 sensor 对光谱的色光的响应，在光谱上的体现如下的话，基本上对三色光的响应，相互之间不会发生影响，没有所谓的交叉效应。

但是实际情况并没有如此理想，如下是人眼和sensor对光谱的响应曲线。

人眼对光谱反应    

Sensor对RGB光谱反应

        因为这种差异的存在所以需要通过如下的色彩校正矩阵(CCM)来对sensor和人眼进行色彩的转换和适配。

R = Rr*R0 + Rg*G0 + Rb*B0

G = Gr*R0 + Gg*G0 + Gb*B0

B = Br*R0 + Bg*G0 + Bb*B0

※CCM不改变白平衡，矩阵中每行系数和为1。

3.9 Gamma/LTM

        人眼对亮度变化的感应是非线性的，通常对暗处的亮度变化更敏感；而CMOS图像传感器对亮度变化的感应是线性的。Gamma 校正补偿显示设备亮度响应的非线性特性，优化图像亮度和对比度；局部色调映射（LTM）则针对图像局部区域进行色调调整。

3.10 NR降噪

        NR，Noise Reduction，进一步降低图像噪声，同时尽量保留图像细节。

3.11 Sharpening锐化

        也叫EE（边缘增强），增强图像边缘和细节，使图像看起来更清晰。