本发明涉及图像传感器领域,具体涉及一种基于忆阻器的图像传感器及其进行图像处理的方法。
背景技术:
图像传感器是组成数字摄像头的重要组成部分。根据元件的不同,可分为ccd和cmos两大类。cmos传感器获得广泛应用的一个前提是其所拥有的较高灵敏度、较短曝光时间和日渐缩小的像素尺寸。
通常来说,一个cmos图像传感器的帧率取决于后方数字信号处理器(dsp)的能力,目前来看,通常的数字信号处理器具备1080p全高清视频流下每秒钟30帧(30fps)的处理能力,这一帧率能力对于高清视频流来说是足够了。
但是对于某些特殊应用来说,每秒钟30帧或60帧的视频流帧率就远远不够了。例如,对于某些科学应用相机来说,通常需要拍摄超高速运动的物体,比如拍摄超高速运动的子弹、百米运动员冲刺等,因此要求其图像传感器能够具备高帧率的图像采集能力。一般来说,高帧率的图像传感器需要具备1080p全高清视频流下每秒钟200帧以上的数据流能力。
对于高帧率的图像传感器来说,cmos工艺下由于具备高度集成的特点,可以在一颗芯片上集成像素和数字处理电路,因此非常适用于这些需要集成图像处理等功能的图像传感器。现在普遍的做法是将像素和数字处理电路做成2颗芯片,上层芯片制造像素(具有最大的像素阵列占比),下层芯片制造数字处理电路,上下层电路通过3d方法键合在一起。
另一方面,传统的像元通常属于滚筒曝光像元(rollingshutterpixel),以4t像元为例,其信号读取原理是当tx置高时,pd的信号将被传输出来,当nmos管的栅端信号rx拉到高电平时,对fd点电荷进行清空和复位,然后rx信号置为低电平并将另一nmos的栅端信号置为高电平,此时pd的信号被传输至fd点,随后完成信号读出。对于传统像元组成的图像传感器中x行y列的像素单元来说,第一行第一列的曝光时间与第x行第x列的曝光时间并不同时。这个非同时性对于普通相机应用来说没有问题,但是对于高帧率拍摄图像时,则会引起明显的图像失真与变形。所以对于高帧率的图像传感器,需要通过全局像元(globalshutterpixel)来实现。
技术实现要素:
本发明的目的是提供一种基于忆阻器的图像传感器及其进行图像处理的方法,能够实现准全局曝光,缩短了图像曝光时间,同时提高了图像传感器的集成度。
为了实现上述目的,本发明采用如下技术方案:一种基于忆阻器的图像传感器,包括像素芯片和忆阻器芯片,所述像素芯片包括k1×k2个像素阵列,所述像素阵列包括像素单元;所述忆阻器芯片包括k1×k2个与像素阵列一一对应的忆阻器处理阵列,所述像素阵列中的各个像素单元的输出端连接至对应的所述忆阻器处理阵列的输入端;当所述图像传感器进行曝光时,所述k1×k2个像素阵列中相同位置的像素单元同时曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储;其中,k1和k2均为正整数。
进一步地,所述忆阻器处理阵列包括选择控制模块、adc模块、数字控制模块和忆阻器模块,所述像素单元的输出端连接所述选择控制模块的输入端,所述选择控制模块的输出端连接所述adc模块的输入端,所述adc模块的输出端连接所述数字控制模块的输入端,所述数字控制模块的输出端连接所述忆阻器模块的输入端。
进一步地,所述忆阻器模块包括n1×n2个忆阻器,所述像素阵列包括n1×n2个像素单元,所述像素单元输出的曝光信号经过选择控制模块、adc模块和数字控制模块之后,存储在对应的忆阻器中;其中,n1和n2均为正整数。
进一步地,所述忆阻器位数为n,所述像素单元输出的曝光信号经过所述adc模块之后转换为精度为n的数字信号,并存储在对应的n位忆阻器中,n为为2或4或8或16或32。
进一步地,所述忆阻器为阻变忆阻器或相变忆阻器或自旋磁存储器或铁电存储器。
进一步地,所述忆阻器芯片中,所述忆阻器处理阵列位于所述adc模块上方。
进一步地,所述像素芯片中像素阵列的面积大于忆阻器芯片中对应的忆阻器处理阵列的面积。所述忆阻器芯片还包括图像处理单元,所述图像处理单元位于所述忆阻器处理阵列之间。
进一步地,所述像素芯片和忆阻器芯片通过3d键合工艺连接。
一种采用图像传感器进行图像处理的方法,包括如下步骤:
s01:k1×k2个像素阵列中第n个像素单元同时开始曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储;其中,n为小于等于n1×n2的正整数。
s02:重复步骤s01直至像素单元中n1×n2个像素单元均完成曝光以及曝光信号存储。
进一步地,所述步骤s01具体为:k1×k2个像素阵列中第n个像素单元同时开始曝光,曝光信号经过选择控制模块和adc模块转换为精度为n的数字信号,所述数字信号经过数字控制模块存储在对应的n位忆阻器中。
本发明的有益效果为:本发明不同像素阵列中相同位置的像素单元同时进行曝光,所需的曝光周期远小于传统的滚筒曝光时间,实现了准全局的功能;同时,忆阻器模块可以设置在adc模块之上,忆阻器芯片中的图像处理单元设置在忆阻器处理阵列之间的空隙处,通过合理布局,大大提高了忆阻器芯片的集成度。
附图说明
附图1为本发明一种基于忆阻器的图像传感器的整体架构图;
附图2为忆阻器处理阵列的结构示意图;
附图3为像素单元连接忆阻器阵列的示意图;
附图4为本发明忆阻器芯片的示意图;
附图5为本发明图像传感器进行图像处理的时序图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明的具体实施方式做进一步的详细说明。
如附图1所示,一种基于忆阻器的图像传感器,包括像素芯片和忆阻器芯片,像素芯片包括k1×k2个像素阵列,像素阵列中包括像素单元;忆阻器芯片包括k1×k2个与像素阵列一一对应的忆阻器处理阵列,忆阻器阵列中包括忆阻器;像素阵列中的各个像素单元的输出端连接至对应的忆阻器处理阵列的输入端;当图像传感器进行曝光时,k1×k2个像素阵列中相同位置的像素单元同时曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储。具体地,可以将像素芯片视为上层芯片,忆阻器芯片视为下层芯片。
其中,像素芯片中包含m1×m2个像素单元,将这些像素单元划分为k1×k2个像素阵列,每个像素阵列中包含n1×n2个像素单元,其中k1=m1/n1;k2=m2/n2。其中,像素阵列的个数等于忆阻器处理阵列的个数,且一一对应;每个像素阵列中像素单元的个数等于每个忆阻器处理阵列中忆阻器的个数,且一一对应。像素单元可以为现有技术中任意形式的像素单元,例如附图3中4t像素单元,也可以为其他的像素单元结构。像素芯片和忆阻器芯片可以具体为上层芯片和下层芯片,并通过特定方式键合在一起。
如附图2所示,忆阻器处理阵列包括选择控制模块、adc模块、数字控制模块和忆阻器模块,像素单元的输出端连接选择控制模块的输入端,选择控制模块的输出端连接adc模块的输入端,adc模块的输出端连接数字控制模块的输入端,数字控制模块的输出端连接忆阻器模块的输入端;其中,控制模块的输入端即为忆阻器处理阵列的输入端,忆阻器模块的输出端即为忆阻器处理阵列的输出端。
如附图3所示,具体地,每个像素阵列中包含n1×n2个像素单元,每个忆阻器处理阵列中包含n1×n2个忆阻器。像素阵列中的每个像素单元均通过3d键合工艺与对应的忆阻器处理阵列的选择控制模块对接,每个像素阵列和对应的忆阻器处理阵列中对接的3d键合的数量为n1×n2个,选择控制模块的作用是将这n1×n2个像素单元输出的像素信号依次传输至后续adc模块;adc模块将上述输入信号进行模拟数字转换,转换精度为n,n可以为2、4、8、16、32,优选为4;数字控制模块将转换后的精度为n的数字信号通过特定的时序存储到后续的忆阻器模块的特定部分;每个忆阻器的位数为n,忆阻器模块的总位数为n1×n2×n,第1个n位忆阻器存储第1个像素单元的n位数字输出值,第2个n位忆阻器存储第2个像素单元的n位数字输出值,……,第n个n位忆阻器存储第n个像素的n位数字输出值,n为小于等于n1×n2的正整数。
忆阻器模块包括n1×n2个忆阻器,像素阵列包括n1×n2个像素单元,像素单元输出的曝光信号经过选择控制模块、adc模块和数字控制模块之后,存储在对应的忆阻器中。忆阻器位数为n,像素单元输出的曝光信号经过adc模块之后转换为精度为n的数字信号,并存储在对应的n位忆阻器中。忆阻器芯片中,忆阻器处理阵列位于adc模块上方。像素芯片中像素阵列的面积大于忆阻器芯片中对应的忆阻器处理阵列的面积。忆阻器芯片还包括图像处理单元,图像处理单元位于忆阻器处理阵列之间。
像素芯片和忆阻器芯片通过3d键合工艺连接。每个像素单元均通过3d键合工艺连接至对应忆阻器处理阵列中的选择控制模块。
忆阻器选择新型的嵌入式存储器,如相变存储器(pcram)、磁存储器(mram)、阻变存储器(rram)铁电存储器(feram)等其他类型的忆阻器。其中阻变存储器因其同时具有高速、低功耗、非易失性、高集成度以及与cmos工艺兼容等优势,特别重要的是,这类新型的嵌入式存储器是用集成电路后道(backend)工艺制造,特点是可以不占据晶体管的位置。也就是说,这些n1×n2的忆阻器,是完全可以制造在忆阻器处理阵列其他模块的上方,例如忆阻器处理阵列中adc模块的上方。
如附图4所示,忆阻器芯片包含k1×k2个忆阻器处理阵列,每个忆阻器处理阵列中包含n1×n2个忆阻器,附图4中标示了像素芯片中一个像素阵列,即n1×n2个像素单元对应的面积,该面积大于该像素阵列对应的忆阻器处理阵列的面积,忆阻器处理单元的面积包括n1×n2个忆阻器(忆阻器模块)以及选择控制模块、adc模块和数字控制模块的总面积,且n1×n2个忆阻器可以设置在adc模块或者数字控制模块或者选择控制模块的上方。也就是说,忆阻器芯片中k1×k2个忆阻器处理阵列间存在大量空余面积,忆阻器芯片中的图像处理单元就安排在上述这些大量空余面积中,具体电路中图像处理单元包括图像处理逻辑(isp)的一系列单元库,用于对像素信号进行处理。
本发明中图像传感器进行图像处理的方法,包括如下步骤:
s01:k1×k2个像素阵列中第n个像素单元同时开始曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储;其中,n为小于等于n1×n2的正整数。k1×k2个像素阵列中第n个像素单元同时开始曝光,曝光信号经过选择控制模块、adc模块和数字控制模块,存储在对应的忆阻器中。
s02:重复步骤s01直至像素单元中n1×n2个像素单元均完成曝光以及曝光信号存储。
具体地,如附图5所示,像素芯片中所有像素阵列中的n1×n2个像素单元中第1个像素a1pixel开始曝光,然后经过选择控制模块、adc模块和数字控制模块进行ad处理,再存储在a1pixel对应的忆阻器中;
当第1个像素a1pixel的ad完成处理后,紧接着,第2个像素a2pixel开始处理,过程同上;
当第2个像素a2pixel的ad完成处理后,紧接着,第3个像素a3pixel开始处理,过程同上;
以此类推,直至完成第n1×n2个像素的ad处理完成,并完成对应的忆阻器存储。
如果对于传统的滚筒曝光的图像传感器来说,如果具有m1×m2个像素单元,每个像素单元曝光时间为t0,那么一帧的曝光时间为t1=m1×m2×t0;而对于本发明提出的图像传感器来说,如果同样m1×m2个像素单元,每个像素单元曝光时间为t0,那么一帧的曝光时间为t2=n1×n2×t0。
对一个典型的应用来说,m1取值范围500~10k,m2取值范围500~10k,m1×m2优选2k×1k,n1的取值范围4~256,n2的取值范围4~256,n1×n2优选16×16。对于优选值来说,t1=2m×t0,t2=256×t0,t1=7812.5×t2。也就是说,本发明提出的图像传感器所需要的曝光时间周期远小于传统的滚筒曝光的图像传感器,即实现了准全局的功能。
以上所述仅为本发明的优选实施例,所述实施例并非用于限制本发明的专利保护范围,因此凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明所附权利要求的保护范围内。
1.一种基于忆阻器的图像传感器,其特征在于,包括像素芯片和忆阻器芯片,所述像素芯片包括k1×k2个像素阵列,所述像素阵列包括像素单元;所述忆阻器芯片包括k1×k2个与像素阵列一一对应的忆阻器处理阵列,所述像素阵列中的各个像素单元的输出端连接至对应的所述忆阻器处理阵列的输入端;当所述图像传感器进行曝光时,所述k1×k2个像素阵列中相同位置的像素单元同时曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储;其中,k1和k2均为正整数。
2.根据权利要求1所述的一种基于忆阻器的图像传感器,其特征在于,所述忆阻器处理阵列包括选择控制模块、adc模块、数字控制模块和忆阻器模块,所述像素单元的输出端连接所述选择控制模块的输入端,所述选择控制模块的输出端连接所述adc模块的输入端,所述adc模块的输出端连接所述数字控制模块的输入端,所述数字控制模块的输出端连接所述忆阻器模块的输入端。
3.根据权利要求2所述的一种基于忆阻器的图像传感器,其特征在于,所述忆阻器模块包括n1×n2个忆阻器,所述像素阵列包括n1×n2个像素单元,所述像素单元输出的曝光信号经过选择控制模块、adc模块和数字控制模块之后,存储在对应的忆阻器中;其中,n1和n2均为正整数。
4.根据权利要求3所述的一种基于忆阻器的图像传感器,其特征在于,所述忆阻器位数为n,所述像素单元输出的曝光信号经过所述adc模块之后转换为精度为n的数字信号,并存储在对应的n位忆阻器中,n为2或4或8或16或32。
5.根据权利要求3所述的一种基于忆阻器的图像传感器,其特征在于,所述忆阻器为阻变忆阻器或相变忆阻器或自旋磁存储器或铁电存储器。
6.根据权利要求2所述的一种基于忆阻器的图像传感器,其特征在于,所述忆阻器芯片中,所述忆阻器处理阵列位于所述adc模块上方。
7.根据权利要求1所述的一种基于忆阻器的图像传感器,其特征在于,所述像素芯片中像素阵列的面积大于忆阻器芯片中对应的忆阻器处理阵列的面积;所述忆阻器芯片还包括图像处理单元,所述图像处理单元位于所述忆阻器处理阵列之间。
8.根据权利要求1所述的一种基于忆阻器的图像传感器,其特征在于,所述像素芯片和忆阻器芯片通过3d键合工艺连接。
9.一种采用权利要求1所述的图像传感器进行图像处理的方法,其特征在于,包括如下步骤:
s01:k1×k2个像素阵列中第n个像素单元同时开始曝光,并将曝光信号传输至对应的忆阻器处理阵列中进行存储;其中,n为小于等于n1×n2的正整数。
s02:重复步骤s01直至像素单元中n1×n2个像素单元均完成曝光以及曝光信号存储。
10.根据权利要求9所述的进行图像处理的方法,其特征在于,所述步骤s01具体为:k1×k2个像素阵列中第n个像素单元同时开始曝光,曝光信号经过选择控制模块和adc模块转换为精度为n的数字信号,所述数字信号经过数字控制模块存储在对应的n位忆阻器中。
技术总结