HDR技术1-DCG模式

DCG（dual conversion gain）是一项广泛使用在车载与监控这种HDR imaging领域的技术，现在手机sensor厂商也把这项技术使用在mobile image sensor中。

1 ：什么是 conversion gain （CG）？

CG（转换增益）是pixel 的一个属性，在sensor specification 或者cmos sensor测试测量报告里，经常会列举出来CG的数值，Conversion Gain的单位一般是 (µV/electron)，它描述的是光电转换后产生的单位电子经过放大达到多大的电压，很显然达到的电压越高，CG越大。

2：CG的大小由什么决定？

如下图所示，一个典型的4T pixel电路图。CG是由FD（floating diffusion）电容的大小决定的。

一定情况下可以说，FD capacity就是FWC(满阱容量)。FD capacity 越大，FWC越大，CG反之越小。从公式上说，CG与FWC的关系如下：

ln(Conversion Gain) = 9.3329 - 0.539*ln(Full Well Capacity)

3.CG及FWC对sensor动态范围DR和SNR的影响

DR和SNR是image sensor性能的两个重要指标。

SNR经常被广泛地用来评价sensor的质量。对于一个给定的场景和曝光量。sensor输出信号的SNR越高，表示可以得到的图像质量越好。SNR_max数值常用来作为代表sensor SNR水平的指标。

Nmax 是sensor的饱和电子数，n是以电子数为单位的total或者是temporal noise。

DR动态范围是sensor性能的另一个重要指标，公式表示如下：

sensor可输出的最大信号和最小信号之比用来表示DR，最小信号是read noise。提高FWC可以增大sensor的最大信号Nmax，从而增大了SNRmax 以及DR。不过，如前面所述，增加CG则会减小FWC。

4:什么是dual conversion gain（DCG）

从dual CG的pixel电路图构成可以看出，与普通pixel的区别在于DCG加入了额外的一个FD，以及一个DCG开关，这个FD比下边的FD电容大很多。

在High conversion gain 的模式下，RG 作为reset开关工作，DCG保持拉高电平使能状态，这样，FD电容等于下边的小电容FD，所以conversion gain大。当工作low conversion gain模式下，RG保持使能状态，DCG作为reset开关，FD电容等于上边的大电容FD，相应的CG就小。

电路的时序图如下图所示：

5.Dual conversion gain在HDR imaging领域的应用

DCG的优点是可以适应两个典型场景：high lux 场景与low lux 场景。

LCG模式用在High lux 场景：光线强烈，信号容易饱和，所以这时候需要更大的FWC。由下图可见，LCG模式下，FWC是24000个电子，是HCG模式下的4倍。

在Low lux 场景，光线弱，Pixel Diode输出信号值小，需要high CG把信号放大，也就是所谓的camera sensitivity更高，在sensor的特性里一般叫responsivity。High CG在提高sensitivity/responsivity的同时，也降低readout noise了。

由下图可以看到DCG相比SCG(single conversion gain)对成像系统动态范围的扩大：

图像实例：

HCG mode VS LCG mode in high lux condition


由下图的Photon Transfer Curve 曲线可以计算出两种模式的CG，FWC，DR，sensitivity等sensor特性进行量化比较。

HDR技术2- DOL / Staggered HDR模式

这个技术可以说是dual sampling在现代sensor上的延续。Sony将其称为Digital-OverLap，OmniVision和三星将其称为Staggered HDR，而ONsemi又将其称为Line-Interleaved HDR，但其实都大同小异。都是结合不同曝光时间，那该方法和以前软件实现的最大的不同在于长短曝光信号的读出是交叠完成的，而不是像软件实现里那样是一帧一帧完成的，这样做最大的好处就是将motion artifacts降到最低（例如下面我给出的一个时序例子）。这种长短曝光相结合的方式，最大的问题是在两种不同曝光像素响应交叠的地方会有明显的SNR dip（如下面右图所示，这个是OmniVision在IISW2009上发布的结果）。这种SNR dip其实在很多不同的WDR实现方式中都会出现，后面我们还会碰到。那个这个SNR dip下降到多少是能够承受的呢？

HDR技术3- PWL技术

3.1 Linear To Companding（LTC）

​ LTC 是一种将图像传感器采集的 线性响应信号 压缩成 更宽动态范围格式 的机制，常用于 HDR（高动态范围） 成像场景。在传感器输出中，原始的模拟电压转换为数字值是线性的。

​ 但人眼对亮度的感知是 对数的。而且，在 HDR 模式下，线性数据范围太大，会：

a.超出 sensor 的比特深度

b.难以有效表达亮部细节

LTC 的作用：LTC 引入一种 非线性映射曲线（类似对数），把线性输出压缩为 companded 输出.

暗部拉伸：让低亮区域更加明显

亮部压缩：防止高光溢出

从而保留更多的动态范围信息，这种转换是 sensor 内部通过内建函数完成的。

应用在：
In-sensor HDR（传感器级别的多曝光融合）

视频流的动态压缩（例如直接输出 10-bit companded 数据）

对于航天、普通消费类、监控与车载等不同的应用，HDR imaging对信号形式存在着不同的需求。
以一个14bit动态范围的场景为例，太空照相需要保证图像信号以线性形式由相机系统生成，图像信号从0到214-1（16383），能够线性地对应入射光照，如下图。

对于某些应用，不需要信号与光照的线性对应关系，比如普通的计算机显示器，只有8–10bit的动态范围，它们是不可能线性的展现14bit的图像的。分段线性压缩（Piecewise Linear Compression）这种方法用来实现把高动态范围（High bitdepth）的图像压缩到低动态范围（Low Bitdepth)进行显示。
还是以这个14bit的场景为例，大部分的图像成分的亮度分布在0-255（低8bit）范围内。太阳或者其他强光光源以及高反射率物体的亮度分布在8-14bit之间，他们在图像像素数量上的占比是比较小的。每个红色的圆圈表示图像的主要像素成分在亮度上的分布。

为了把14bit的图像显示在10bit的显示器上，PWL压缩的方法把0----2^14-1（16383）的像素值分成若干段，每一段线性地把直线折弯，如下图所示：

横轴是原始14bit图像，被PWL压缩后图像由蓝色虚线（14bit）变换到10bit（0-1023）。
每个偏折的节点（knee）的选取（下图垂直黑色虚线），是要尽量保证该分段内主要图像内容依然保持线性，否则图像的对比度在某个亮度上会看起来比较奇怪，比如在Knee point的位置会出现明显的banding。

把PWL压缩的折线放大来看如下图所示：

在监控和车载应用，为了减小图像信号从sensor到ISP传输的带宽，也用PWL compression的方法把HDR图像压缩到低动态范围。
与PWL压缩的在显示方面的应用的这个实例不同的是， 在车载和监控领域，一方面sensor HDR合成后输出图像的动态范围更高：有16bit—24bit，经常压缩到低bit：比如12bit输出。另一方面，在ISP接收到图像后，根据sensor端的PWL压缩曲线进行解压缩（decompanding或者叫decompression）到ISP的相应bit depth。如下图是sensor端的PWL压缩curve，图像从24bit压缩到12bit。
压缩公式为：gain=(output(n)-output(n-1))/（input（n）-input（n-1））

下图是12–24bit解压缩曲线，其节点（knee point）与压缩曲线 一 一对应。

ISP端要根据sensor的PWL 压缩曲线，并且根据ISP端的解压缩硬件的设计及目标位宽，配置出相应的解压缩（decompanding）曲线。

__ ___ __ ______ _ ____ _____ ___ _____ _____ __ _____ _____ ___ ___
本文大部分摘自网上资料进行参考，用于自己总结，不作其他用途。若有侵权，请联系本人删除！