IC Insights发布的2013年与2018年CMOS Sensor的市场销售占比

光电探测器的基本原理

注：关于光电探测器的基本原理这一部分，部分内容参考了上海交大义理林老师的研究生课程Waveguide Optics的课件《Semiconductor Background》

光电转换

一定通量的光子以高于半导体带隙能量$E_g$的能量进入半导体：
$$E_{photon}=h.v=\frac{h.c}{\lambda }\ge E_g$$
上式中$h、v、c、\lambda$分别为普朗克常量、光的频率、光速、波长。硅的带隙能量是1.1eV，带入上式可知，波长小于1100nm的光会被硅吸收，并且发生光信号到电信号的转换，当光波长大于1100nm时硅材料相当于是透明的。在厚度为$dx$(这里的$x$表示距离半导体表面的距离)的感光区域内，被硅材料吸收的光子数量与光通量$\Phi (x)$成正比。

带隙能量：带隙是电子的价带(较低能级)和导带(较高能级)之间的距离，代表将电子激发到导带所需的最小能量，带隙能量决定了半导体的导电性。

金属、半导体、绝缘体的带隙能量对比

金属、半导体、绝缘体的能带示意图

金属、半导体、绝缘体的电子跨越能带示意图

光通量在硅材料的传播过程中，因被吸收而导致光通量的变化过程表示为：
$$\frac{d\Phi (x)}{dx}=-\alpha .\Phi (x)$$
上式中$\alpha$为吸收系数，吸收系数与波长相关，假设半导体表面的光通量为${\Phi }_0$，则：
$$\Phi (x)={\Phi }_0.e^{-\alpha x}$$
光通量随着与半导体表面的距离的增加而指数衰减，被硅材料吸收的光子在半导体中产生电子空穴对。

光通量与深度的关系

穿透深度(吸收长度)：即是$\frac{1}{\alpha }$，代表光通量衰减至$\frac{1}{e}$时的深度，如上图，蓝光的穿透深度为0.42um，红光的穿透深度为2.44um

吸收系数与波长间的关系

吸收系数越大，越容易被硅材料吸收，穿透深度越小

PN结的光电效应

• P型半导体：将第$V$族元素掺入硅晶体后，产生的多余电子受到的束缚很弱，只需要很少的能量就能让它挣脱束缚成为自由电子

  
  
  B只有3个价电子，需要从Si中抢夺一个电子建立共价键，还剩余一个空穴

受主能级电离使导带空穴浓度增加

• N型半导体：将第$Ⅲ$族元素掺入硅晶体后，产生多余的空穴受到的束缚很弱，只需要很少的能量就能让它挣脱束缚成为自由空穴

  
  
  As除了用4个价电子和周围的Si建立共价键之外，还剩余一个电子
  
  
  施主杂质电离使导带电子浓度增加

  施主杂质：第$V$族元素失去电子称为施主杂质

  受主杂质：第$Ⅲ$族元素得到电子称为受主杂质

PN结的能带和电子分布

P型半导体和N型半导体结合在一起组成P-N结，P-N结内部由于存在多数载流子的梯度而产生扩散运动形成内部电场，而内部电场又会驱动载流子做相反方向的漂移运动

PN结示意图

半导体材料的光电效应是当光照射在半导体材料的P-N结上，若光子能量足够大，则半导体材料中价带(N型)的电子吸收光子的能量，从价带越过禁带到达导带，在导带中出现光电子，在价带中出现光空穴称光生载流子。

图像传感器的基本结构

以3T-APS(3 Transistor-Active Pixel Sensor)为例，CMOS中像素结构的细节进行说明 (CMOS图像传感器的像素可以看做是由一个光电二极管、光电二极管复位开关、信号放大器、输出电路组成)。APS可以实现在每个像素中都存一个独立的放大器，这个放大器就是一个简单的原极跟随器(Source Follower)，有源像素的优点之一是信号读出路径上产生和引入的噪声得到了抑制且读出效率高。

3T-APS 立体图

APS通过为每个像素添加一个放大器来显著提高传感器响应速度和信噪比

像素结构的截面图

微透镜阵列(Micro Lens)

先进的制成工艺在减小像素尺寸和增加像素总数方面卓有成效，但传感器捕获光的能力(Light Sensitivity)随着像素尺寸的下降而减小。将像素中感光区域面积(Photosensitive Area)$A_{pd}$与像素面积$A_{pix}$之间的比率定义为填充因子(Fill Factor)：
$$FF=\frac{A_{pd}}{A_{pix}}$$
从<像素结构的截面图>可以看出，如果不考虑微透镜对光线的汇聚作用，填充因子由遮光层(Light Shield)的开口面积决定，3T-APS中有三个晶体管(复位晶体管、源跟随器晶体管、行选择晶体管)，且这些晶体光需要被遮光层所覆盖，如果使用更多的晶体管，比如4T-APS、6-APS，遮光层的覆盖面积会增大，同时填充因子也会相应降低。为了更好地将光线汇聚到光电二极管上，一般选择在芯片上放置一个简单的片上微透镜阵列，可以有效地提高填充因子。除了增加灵敏度之外，微透镜还有助于减少传感器中的漏光，降低CCD和CMOS图像传感器中由于少数载流子扩散而造成的像素间的串扰(Cross Talk)。微型透镜对提高传感器的感光度起着非常重要的作用，但值得一提的是在入射光位置不同时，其从成像透镜到图像传感器的角度也不同，会加重镜头阴影(Lens Shading)产生。

微透镜对光的汇聚作用

微透镜导致镜头阴影

彩色滤光阵列(Color Filter Array)

图像传感器一般而言是单色传感器，对敏感波长范围内的光产生响应，对于消费领域内的图像传感器来说，可以在光敏二极管上覆盖彩色滤光阵列，用以实现色彩信息分离。最常用的彩色滤光模式为"Bayer Pattern"，由于人眼视觉系统主要从绿色光谱部分获得视觉细节，即是，视觉亮度差异与绿色有关，而颜色感知与红色和蓝色有关，因此，所以“Bayer Pattern”当中的绿色滤光器是红色或蓝色滤光器的两倍(或者说，绿色的采样率是红、蓝的两倍)。当然除了使用CFA来对不同波段的颜色分量进行采样的方式，Sigma公司利用不同波长光的吸收长度的不同，开发了全色图像传感器Foveon X3，每个像素都可以同时感应到R、G、B三种波长的光，相比采用CFA的图像传感器而言，Foveon X3整体的色彩还原度、解析力都有非常大的提升。

CFA的电镜扫描图

CFA与Foveon的比较

传感器获取全色图像的常见方式

复位电路(Reset circuits)

传感器的复位类似于清零的操作，如果是卷帘式曝光(Rolling Shutter)，需要在每行曝光之前或者信号读出之后进行复位。3T-APS CMOS的复位操作通常是通过给$M_{SR}$栅极加高电平，电压为$V_{dd}$ ，当复位信号有效时，复位管工作在饱和区，在复位管源端的光电二极管阴极节点电压将快速上升到$V_{dd}-V_{th}$， $V_{th}$为阈值电压，此时复位管进入压阈值区，至慢慢关断。以上复位操作为软复位，由于完成复位需要的时间相对较长，容易出现复位不彻底，最终造成图像滞后(Image Lag)；相反，在硬复位中，栅极施加的电压大$V_{dd}$ ，$M_{RS}$始终高于阈值，就能够很快地完成复位动作，从而抑制图像滞后，但这种方式的$k_{B}TC$噪声相对较大。每行复位到读出的时间间隔即是每行的曝光时间。

3T-APS复位电路

电荷检测(Charge Detection)

CCD传感器在输出放大器中完成电荷检测，而CMOS传感器在像素中完成电荷检测，电压放大器连接势肼(Potential Well)以监测势肼电荷信号的变化，若有电荷$Q_{sig}$进入肼中，会引起势肼电压(Potential Change)变化：
$$\Delta V_{PD}=\frac{Q_{sig}}{C_{FD}}$$
其中$C_{FD}$为放大器所连接到势肼的电容，并充当电荷到电压的转化电容，输出电压的变化如下：
$$\Delta V_{out}=A_V\Delta V_{PD}$$
其中$A_V$为电压放大器的增益。

电荷检测电路

满肼容量(Full-Well Capacity)：光电二极管工作在(Charge-Integrating)模式下，势肼只有有点的电荷存储能力，光电二极管的电容能够积累的最大电荷量为"满肼容量"：
$$N_{sat}=\frac{1}{q}{\int }_{V_{reset}}^{V_{max}}{C}_{PD}(V).d_V[electrons]$$

满肼容量决定了传感器动态范围的上限。

传感器的外设( Sensor Peripherals)

X-Y寻址(X-Y Address)

在大多数CMOS图像传感器中，信号电荷在像素中被有源晶体管转化为电压或者电流，最终的视频信号是通过行、列扫描器对像素阵列进行光栅扫描获得的。一般情况下，行扫描器在每帧时间内产生一个行选择信号和一个复位脉冲并送入选定行的像素中，列扫描器在每个行周期扫描各列。正如“X-Y地址”的字面意思，像素信号是通过垂直扫描器(移位寄存器或者解码器)选通一行(Y)读出以及水平扫描器选通一列(X)读出的方式进行寻址。CMOS中两种常见的行扫描器是移位寄存器和解码器。CCD、CMOS图像传感器都是电荷积分型传感器，像素中的信号电荷在电荷积分开始前应当被复位，而不同的扫描方案导致了工作时序的不同，在CCD传感器中，电荷复位是通过垂直电荷转移电路当中实现的，这个过程在整个像素阵列中是同时发生的，而大多数CMOS图像传感器中，复位和信号读出是逐行进行的。CCD将光生电荷转移到CCD寄存器后端的电荷检测器放大，使得所有信号均通过同样的放大器读出，因此，放大器的失调保持恒定；而CMOS图像传感器一般在列输出线上有一个列放大器(Column Amplifier)，列放大器之间存在的差异，往往会造成图像的列固定噪声(Column Fixed Pattern Noise)。

CMOS图像传感器X-Y寻址

读出电路(Readout circuits)

读出电路位于像素阵列的外围，并由这些像素进行多路复用，在大多数CMOS图像传感器中，同一行的像素被同时读出然后并行处理是非常流行的读出电路结构，同一行的像素的光电二极管所产生的电压同时被光电二极管所接的源跟随器读出然后并行处理，处理后的信号被存储在一个行存储器中，并按顺序读出，电荷积分时间逐行出现偏移。在这种结构中，一个像素只需要一个行选择脉冲，从而减少了用于传输像素控制脉冲的总线数量。最常见的读出结构中有源极跟随器→相关双采样(CDS)→列放大器(模拟放大)→ADC。font>

CCD和CMOS读出电路比较

CMOS读出电路

CCD与CMOS比较

CCD与CMOS在集成上的区别

图像传感器中的噪声来源

暗电流(Dark Current)

暗电流是在镜头无光线透过的条件下观测到的电流，是传感器成像过程中的一种非理想因素，暗电流会积分成为暗电荷并存储在势肼当中，同时暗电荷还是温度的函数，暗电荷的数量与积分时间成正比：
$$N_{dark}=\frac{Q_{dark}}{q}=\frac{I_{dark}.t}{q}$$
上式中$q$为基元电荷，$t$为积分时间，暗电流对传感器成像质量的最显著影响是降低了图像传感器成像的动态范围(Dynamic Range)，和势肼容量对动态范围的限制所不同的是，暗电流决定的是图像传感器动态范围的下限$S_{min}$，将图像传感器的动态范围做如下定义：
$$DR=20lo{g}_{10}(\frac{S_{max}}{S_{min}})(db)$$
上式中$S_{max}$由满肼容量决定，$S_{min}$由暗电流决定。光电二极管中的暗电流有如下几个来源：

上表中$E_g、k_B、T、V$分别表示禁带宽度、玻尔兹曼常数、热力学温度、偏置电压。总的来说，暗电流依赖于温度和偏置电压，在后续的ISP处理当中，一般会通过标定暗电流的方式，来实现对传感器暗电流的补偿，但这种黑电平补偿的方式有隐含的假设传感器当中的暗电流对于整个Sensor是均匀的，如果传感器附近存在一个局部热源，温度的变化将导致像素阵列中的暗电流的变化，也就是非均匀的阴影(Shading)，需要在后续的阴影校正模块进行进一步的补偿。同时，在CMOS传感器中，偏置电压与接地电压的非一致性也会导致阴影。

暗电流随反向电流和温度的变化

噪声的颜色

在讨论噪声种类之前，需要了解白噪声(White Noise)、有色噪声(Colored Noise)、色噪(Chromatic Noise)之间的关系。

• 白噪声与有色噪声：这是就噪声信号的功率谱密度而言，如果噪声信号的功率谱密度接近均匀分布，此噪声即为白噪声，包括热噪声、散粒噪声等；如果噪声信号的功率谱密度是非均匀的，此噪声即为有色噪声，包括布朗噪声、红噪声、粉红噪声等。

• 有色噪声与色噪：一般将色噪定义为低频噪声，同时也可以将色噪看做是图像在空域中具有一定自相关性的噪声。在图像当中常表现为彩色斑块，通常呈红、蓝色，尤其是在底图像质量的暗区。在ISP及其后处理过程中，色噪主要有两个来源，一个是传感器采集到的Raw数据当中存在的低频噪声，一个是Raw数据当中原本的白噪声，经过Bayer域的降噪之后，噪声的功率谱密度将不再呈均匀分布，变为以中低频为主，且降噪模块会引入噪声的相关性，原本Raw数据当中的白噪声将变为色噪，所以，有色噪声和色噪之间有直接的关联，但用有色噪声更多的是从频域的视角对噪声的频率响应进行描述，色噪更多的是从空域的角度对噪声的空间形态进行表述，当图像用YUV颜色空间进行表示时，由于UV通道的颜色信息是低频占主导，UV通道的噪声频率更低，因此色噪常用来指UV通道的低频噪声。

  
  
  色噪示意图

复位噪声(Reset Noise)

当电容被复位时，MOS开关关断，导通的MOS管可以看 做是一个电阻，就会产生的热噪声，噪声电荷如下：
$$q_n=C^2.v_n^2=k_{B}TC$$
噪声电荷仅与温度和电容值有关，因此也称$k_{B}TC$噪声。

热噪声(Thermal Noise)

在负载电阻中，自由电子存在随机热运动，将引起电阻两端电压的波动，即为热噪声，将热噪声的功率谱密度用电压表示：
$$S_V(f)=4k_{B}TR(V^2/Hz)$$
其中$R$为电阻，可以看出热噪声的功率谱密度在所有频率上很多，为白噪声，在CMOS传感器中，热噪声常以$k_{B}TC$噪声的形式出现。

读出噪声(Readout Noise)

在传感器读出电路中产生的噪声，由读出电路及像素内部的放大器决定，主要表现为热噪声和$1/f$噪声两种形式。

$1/f$噪声($1/f$ Noise)

$1/f$噪声又称为Flicker Noise、Fractal Noise、Pink Noise，$1/f$噪声的一个形成原因是硅晶体和氧化层界面处存在悬空键，当载流子流过的时候就有可能被随机的捕获，从而在漏电流中形成噪声。$1/f$的功率谱密度和$1/f^{\gamma }$成比例，其中$\gamma$大约在0.8~1.3的范围内：
$$V^2=\frac{K}{C_{ox}WL}\frac{1}{f^{\gamma }}$$
其中$K$是由工艺决定的噪声系数、$C_{ox}$为单位面积的栅电容；$W、L$分别为栅的宽度和高度，从上式可以看出，与悬空键相关的捕获-释放现象在低频下更容易发生，另外增加器件的沟道面积也可以减小$1/f$噪声。目前对$1/f$噪声的研究主要依托于两个物理模型，一个是表面载流子涨落模型，一个是迁移率涨落模型，但时至今日，学界依旧没能给出一个统一的理论来解释$1/f$噪声的形成机制，就图像处理的噪声分析而言，比较重要的是认识到$1/f$噪声的功率谱密度的形状及$1/f$噪声的长程相关性。

长程相关性：设$X_1、X_2......$是时间序列，则$X_i、X_j$之间的自相关系数为：
$$\rho =\frac{E((X_i-u)(X_j-u))}{{\sigma }^2}$$
理想的情况下，白噪声仅与自身相关，即当且仅当$i=j$时，$\rho \ne 0$，但$1/f$噪声具有长程相关性，即当$k$足够大时，$\rho =0$，自相关函数呈双曲线衰减，当$k$趋向无穷时：
$$\rho =\frac{c_{\rho }}{|k{|}^{1-\alpha }},k⟶\infty$$
其中$\alpha 、c_{\rho }$为正常数，自相关性是$t$时刻的随机变量能持续多上时间的度量，反应随机变量在不同时刻之间的相关性，因此图像当中的$1/f$噪声具有空间相关性，常以斑状的形态出现在图像当中。

注：我在一篇讲相关双采样的论文中看见"the shorter the time between the two samples, the more correlated their flicker noise components become and the more effective CDS is at suppressing flicker noise"这一一段话，我现在也不能确定$1/f$噪声到底是时域相关的还是空域相关的。

量化噪声(Quantization Noise)

光生电荷经过放大器放大之后，需再经过$A/D$转换将模拟信号转换为一组离散的数字信号，由信号在量化的过程中引入的误差即为量化噪声，特别是当$A/D$转换后的比特位宽很小，比如8bit时，量化噪声会显著增大，一般来说，对于同一个模拟信号，$A/D$转换后的bit位宽越小，量化噪声越大，即有：
$$N{L}_{8bit}>N{L}_{10bit}>N{L}_{12bit}.....$$
另外值得注意的是，量化噪声决定了图像传感器中模拟增益引入的噪声小于数字增益引入的噪声这一事实，因为模拟增益是在模拟电路中对像素输出的电信号进行放大，而数字增益是对电信号进行$A/D$转换后的数字信号进行放大，$A/D$转换后的数字信号当中包含量化过程中产生的量化噪声，也会被数字增益放大。

列固定噪声(Column Fixed Pattern Noise)

由上述"X-Y寻址电路"及“列放大器”可知，一般的CMOS对像素中的电信号是通过"X-Y寻址电路"逐行读出的，读出电路会在每一列像素放置一个通用的列放大器，列放大器之间本身存在的工艺差异，造成了图像列输出信号之间的不一致，从而产生列固定噪声，主要有两种类型的FPN，一种是独立于信号以及增益，称为offset FPN，一种是随着信号的增强而增强，称为光响应不均匀性(PRNU)。由于CMOS采用了有源读出电路，所以CMOS的FPN明显强于CCD.FPN的主要来源是列放大器。由读出电路引起的FPN可以通过相关双采样(CDS)进行去除。即在一次曝光的过程中，每个像素被读出两次，一次是在Reset之后像素曝光之前，一次是在像素曝光之后，然后用第二次读出信号减去第一次读出信号，

列固定噪声示意图

散粒噪声(Shot Noise)

散粒噪声是各类光电成像器件中由光电发射过程产生的具有poison分布的噪声，带电粒子发射或随机的穿过势垒时，每瞬间的粒子数量不稳定，而是围绕其均匀起伏的随机过程，这一随机过程吻合poison分布，光子或电子在给定时间间隔内发射的概率可以表示为：
$$P_N\frac{{\bar{N}}^N.e^{-N}}{N!}$$
其中$\bar{N}、N$分别表示均值和粒子数量和热噪声一样，poison噪声的功率谱密度在所有频率上恒定，也是白噪声，值得注意的是光电发射过程和暗电流都会产生散粒噪声，分别为photon shot noise和dark current shot noise。

Reference

1. Semiconuctor Background
2. 《Organic Photodiodes: The Future of Full Color Detection and Image Sensing》
3. 《CMOS Image Sensors：An introduction to the technology,design,and performance limits,presenting recent developments and future directions》
4. 《Image Sensors And Signal Processing For Digital Still Cameras》
5. 《A CMOS Imager Pixel Based Temperature Sensor For Dark Current Compensation》
6. 《A Review of Published Research on Low Frequency Noise and its Effects》
7. 《CCD or CMOS camera noise characterisation》
8. 《Characterization of Noise in Digital Photographs for Image Processing》
9. 《CMOS image sensors State-of-the-art》
10. 《Flicker Noise》
11. 《Photon,Poison Noise》
12. 《Research on Noise Sources in CMOS Image Sensors》
13. 《Analysis of 1/f noise in CMOS APS》