本公开涉及一种空间光调制器、一种全息投影仪、一种用于显示包括全息图的光调制图案的方法以及一种用于全息投影的方法。更具体地，本公开涉及一种硅基液晶空间光调制器以及一种用于驱动诸如硅基液晶空间光调制器的空间光调制器的方法。一些实施例涉及减少被流传输到用于全息投影的空间光调制器的数据量的方法和减小用于全息投影的空间光调制器的像素尺寸的方法。其他实施例涉及空间光调制器的硅背板以及将全息图像素映射到空间光调制器的光调制元件上的方法。进一步的实施例涉及一种包括全息投影仪的平视显示器。
背景技术：
从物体散射的光包含振幅和相位信息。这种振幅和相位信息可以用一种叫做全息术的干涉技术在感光板或胶片上捕获。感光板或胶片上捕获的图案称为全息记录或全息图。全息图可用于形成物体的重建。全息图形成的物体的重建被称为全息重建。全息重建可以通过用合适的光照射全息图来形成。
计算机生成全息术可以数值模拟通过光干涉形成全息图的过程。可以使用数学变换来计算计算机生成全息图。数学变换可以基于傅里叶变换。数学变换可以是傅里叶变换或菲涅耳变换。通过对目标图像执行傅里叶变换计算的全息图可以被称为傅里叶变换全息图或傅里叶全息图。傅里叶全息图可以被认为是目标图像的傅里叶域或频域表示。使用菲涅耳变换计算的全息图可以称为菲涅耳全息图。
计算机生成全息图可以包括全息图值的阵列，该全息图值可以被称为全息图像素。每个全息图值可以是相位和/或振幅值。每个全息图值可以被约束(例如量化)为多个允许值之一。计算机生成全息图可以显示在显示设备上。允许值的选择可以基于将用于显示全息图的显示设备。多个允许值可以基于显示设备的能力。
显示设备可以是包括像素阵列的空间光调制器。空间光调制器可以是液晶设备，在这种情况下，每个像素是具有双折射的可单独寻址的液晶单元。每个像素可以根据相应的全息图像素来调制光的振幅和/或相位。每个像素包括光调制元件和被布置成驱动光调制元件的像素电路。显示的图案可以被认为是光调制图案。
全息重建可以通过用合适的光照射显示的图案来形成。入射光的振幅和/或相位根据光调制图案被进行空间调制。光被空间光调制器衍射。从显示设备发散出的复合光图案在重放平面干涉，以形成对应于目标图像的全息重建。如果全息图是傅里叶全息图，则重放平面在远场中(即离显示设备无限远)，但是可以使用透镜将重放平面带入近场中。为了方便起见，全息重建本身可以被称为图像。全息重建被投影到远离显示设备的平面上，因此该技术被称为全息投影。可以使用全息投影仪形成平视显示器，但是许多其他设备，例如头戴式显示器，可以使用根据本公开的全息投影仪作为图像源。
本公开涉及一种改善的用于全息投影的硅基液晶空间光调制器。
技术实现要素：
根据本公开的全息图包括多个像素，例如，[x×y]个像素。如果全息图比显示设备具有更少的像素，全息图可以平铺在显示设备上。平铺使用显示设备的额外像素来显示全息图的至少一部分的重复。平铺使得在显示设备上显示平铺图案，其中平铺图案包括多个平铺块。平铺块是全息图中连续、相接的像素组。多个平铺块可以包括全息图的任何数量的完整平铺块和任何数量的部分平铺块。完整平铺块是完整的全息图。也就是说，完整平铺块是全息图的完整、相接的[x×y]像素组。部分平铺块是全息图的子集。也就是说，部分平铺块是全息图的连续、相接的[x×y]像素的子集。在一些实施例中，平铺用于填充显示设备。也就是说，平铺可以使用显示设备的所有像素来显示全息图。在一些实施例中，所有平铺块都是四边形的。在一些实施例中，所有平铺块都是矩形的。根据需要，每个平铺块可以具有任何大小或纵横比。
在显示设备上重复的全息图在这里被称为输入全息图，因为它是用于平铺和可选进一步处理的源。输入全息图被平铺以形成在此称为第二全息图的新全息图。第二全息图包括比输入全息图更多的像素。在显示设备上显示的最终全息图在本文中称为输出全息图或光调制图案。在显示之前，第二全息图可以被进一步处理或可以不被进一步处理。因此，第二全息图可以是输出全息图也可以不是输出全息图。
像素映射电路实现了平铺方案。根据本公开的平铺方案是独特的像素映射方案，该方案将第一输入全息图的相接像素组映射到第二全息图的像素上，使得第二全息图的所有像素对应于输入全息图的一个像素。因此，应当理解，输入全息图的一些像素对应于第二全息图的多个像素。可以说，在输入全息图的一些像素和第二全息图的多个像素之间存在一对多的相关性。平铺块的数量可以是二到十二个，例如四到十个。每个平铺块包括至少两个像素。
提供了一种空间光调制器，其被布置为显示包括全息图的光调制图案。空间光调制器是具有多个(显示)像素的硅基液晶空间光调制器。全息图具有多个(全息图)像素。空间光调制器包括硅背板。空间光调制器的每个像素包括光调制元件和相应的像素电路。每个像素电路都嵌入在硅背板中。每个像素电路被布置为驱动相对应的光调制元件。每个像素电路还被布置为将接收到的全息图的像素值与光处理函数的对应像素值组合，使得光调制图案还包括光处理函数。光处理函数包括透镜函数和/或光栅函数。
至少一种光处理函数(例如，赋予光焦度(opticalpower)的透镜函数和/或具有光转向效应的光栅函数)与全息图在显示设备的硅背板中组合。为了避免不确定性，显示的光调制图案包括全息图和光处理函数。光调制图案可以是全息图和光处理函数的和。将至少一种光处理函数与显示设备的硅背板中的全息图相结合是非常重要的，而且打破了常规。发明人已经认识到，光处理函数的像素值仅由显示设备上的像素的空间位置确定。因此，添加这些函数所需的处理可以按照显示像素级别方便地被提供。这意味着可以减少显示设备之前的资源密集型组件(例如显示驱动器或全息图计算引擎)的处理负担。进一步有利地，通过将该特定处理移至硅背板中，也可以在显示设备的硅背板中应用平铺方案。为了避免不确定性，由于光处理函数在硅背板中提供，因此平铺过程只能移入硅背板中。这样做的原因是，平铺后必须将光处理函数与全息图结合起来。在一些实施例中，至少一个光处理函数的像素值被硬连线(hard-wired)到硅背板中。
全息图可以包括[x×y]个像素，空间光调制器可以包括[m×n]个像素，其中mn≥xy。硅背板可以进一步包括像素映射电路。像素映射电路布置成接收全息图的每个像素值。像素映射电路还被布置为将全息图的每个像素值路由到空间光调制器的多个像素。因此，根据像素映射电路，全息图被显示在空间光调制器的光调制元件上。更具体地，根据像素映射电路，全息图被平铺到空间光调制器的光调制元件上。光处理函数可以包括[m×n]个像素。
光调制图案包括输入全息图的多个平铺块，其中平铺块是输入全息图的连续、相接的像素的组。平铺方案是像素映射方案，包括输入全息图的至少一些像素和空间光调制器的像素之间的一对多映射。
每个输入全息图中的像素总数少于空间光调制器上表示的相应第二全息图中的像素数。例如，输入全息图可以在两个维度上都小于第二全息图(m＞x并且n＞y)，或者仅在一个维度上小于第二全息图(m＞x，n＝y或m＝x，n＞y)。这种布置能够将输入全息图的每个部分映射到第二全息图中的某个位置。在实施例中，整个输入全息图被映射为连续的像素集。在其他示例中，输入全息图在映射中被分成多个像素集，使得第二全息图不包括整个输入全息图的连续表示。也就是说，在这些其他示例中，第二全息图不包括完整平铺块。在实施例中，每个第二全息图包括至少一个完整平铺块，并且可选地包括多个部分平铺块。使用动态/可变平铺方案将每个接收的输入全息图的像素映射到至少一个相应的较大第二全息图上。输入全息图的至少一个像素在第二全息图中重复。例如，空间光调制器的像素阵列可以被划分成多个离散区域，每个区域被布置成表示输入全息图的至少一个子集。因此，输入全息图的一部分(即全息图的连续的像素子集)可以在那些还未使用的空间光调制器像素上重复。
将提供一对多像素映射的像素映射电路嵌入空间光调制器的硅背板中提供了以下技术进步，即提高了当全息图被平铺到显示设备上时空间光调制器的每个像素可以被更新(例如切换)的速率。因为需要较少的数据流传输到显示设备以显示每个光调制图案，因此提供了该技术进步。在实施例中，显示设备是硅基液晶空间光调制器。所提供的技术进步减小了由像素电容器引起的对像素尺寸的限制，并提高了显示的光调制图案可以被更新(例如被改变)的速率。例如，可以对每个输入全息图采用更复杂(例如更长)的平铺移位序列和/或可以采用更复杂的图像交织技术(例如可以对大量的全息重建进行交织以形成每个显示图像)。这两种技术被发现都可以改善全息投影的图像质量。
在一些实施例中，m≥2x且n≥2x。因此，全息图的每个像素值被路由给空间光调制器的至少四个像素。发明人还发现，当输出全息图包括至少一个完整平铺块并且输入全息图的每个像素在像素值阵列的两个方向上在输出全息图中重复至少一次时，所公开的技术特别有效。这可以在m≥2x且n≥2y时实现。
全息图可以被平铺到空间光调制器上，使得在其上显示全息图的至少一个完整平铺块。发明人已经发现，对于数据流传输(特别是数据读取)，如果显示的光调制图案包括一个完整平铺块，这是有利的。为了避免任何不确定性，完整平铺块是输入全息图的完整、相接的[x×y]像素的组。在一些实施例中，每个光调制图案附加地包括多个部分平铺块，其中每个部分平铺块是输入全息图的相接的像素子集。
全息图的相邻平铺块可以边缘对边缘相连。因此，一对相邻平铺块的相邻边缘各自包括全息图的一个边缘。因此，每个平铺块包括输入全息图的至少一个边缘或边界。更具体地，每个平铺块包括全息图的像素的至少一个边缘行或像素的至少一个边缘列。输入全息图的边缘行/列是输入全息图的像素的四个边界行和列之一。更具体地，边缘行/列是输入全息图的像素的第一行/列或最后一行/列。像素的第一行/列与像素的最后一行/列相对。例如，行1与行x相对，列1与列y相对。在一些实施例中，平铺是连续的，这意味着所有相邻平铺块对将输入全息图的一个边缘连接到输入全息图的相对边缘。例如，相邻的平铺块可以将列y连接到列1或者将行x连接到行1。可以说，所有相邻的平铺块或者将输入全息图的像素的最后一列连接到输入全息图的像素的第一列，或者将输入全息图的像素的最后一行连接到输入全息图的像素的第一行。
发明人已经发现，如果相邻平铺块在输入全息图的像素值的重复序列中引入中间序列不连续性，则在全息重建中观察到伪影，这对图像的感知质量是有害的。当平铺的全息图的每行和每列不破坏输入全息图的像素值的序列时，这些伪影被最小化。也就是说，每一行和每一列是输入全息图的相应行或列的连续重复。连续平铺图案的平铺块将重复图案边缘对边缘地连接。平铺的全息图不包括像素值的序列中包含跳跃的任何行或列或省略序列中的像素值的任何行或列。可以说，这些实施例形成全息图图案的连续重复。
每个像素电路可以包括连接到光调制元件的像素电容器。像素电容器被布置为对光调制元件充电。每个光调制元件可以包括液晶。根据本公开，因为可以更频繁地刷新显示设备的像素，所以可以减小每个像素电容器的物理尺寸。由于空间光调制器是硅基液晶空间光调制器，因此像素包括液晶，并且液晶可以更频繁地被切换。
还提供了一种全息投影仪，其包括空间光调制器和布置成用相干光照射光调制图案的光源。因此，在重放平面上形成与全息图相对应的全息重建。本公开描述了一种架构，该架构解锁了用于改善全息投影仪中的图像质量的各种可能性。重放平面与空间光调制器在空间上分离。
全息投影仪可以进一步包括驱动器，该驱动器被布置为向空间光调制器发送多个全息图，每个全息图包括[x×y]个像素。显示驱动器是全息投影仪的复杂组件。本公开描述了一种显著减少对驱动器的需求的方法。
还提供了一种在空间光调制器上显示光调制图案的方法。光调制图案包括全息图。全息图包括多个(全息图)像素。空间光调制器包括具有多个(显示)像素的硅基液晶空间光调制器。空间光调制器包括硅背板。空间光调制器的每个像素包括光调制元件和相应的像素电路。每个像素电路都嵌入在硅背板中。该方法包括将接收的全息图的像素值与光处理函数的对应像素值组合的第一步。因此，显示在空间光调制器上的光调制图案还包括光处理函数。光处理函数是透镜函数和/或光栅函数。
全息图可以包括[x×y]个像素，并且空间光调制器可以包括[m×n]个像素，其中mn≥xy。该方法可以包括第二步骤，该第二步骤使用像素映射电路将全息图的每个像素值路由给空间光调制器的多个像素。因此，全息图被平铺在空间光调制器的光调制元件上。像素映射电路嵌入在空间光调制器的硅背板中。
全息图可以通过将全息图的平铺块边缘对边缘连接而被平铺在空间光调制器的光调制元件上。
还提供了一种全息投影的方法，该方法包括在空间光调制器上显示光调制图案的方法。全息投影的方法可以进一步包括用来自光源的相干光照射光调制图案，以在重放平面上形成与全息图相对应的全息重建。重放平面与空间光调制器在空间上分离。
全息投影的方法可以进一步包括使用相同的步骤来形成与第二全息图相对应的第二全息重建，并且使用光栅函数相对于第一全息重建在重放平面上移位第二全息重建以在第一全息重建的像点之间的空间中形成第二全息的像点。
第一全息重建和第二全息重建是交织的，使得重放平面的观看者感知的全息重建比单独的第一全息重建或第二全息投影具有更高的分辨率。
还提供了一种空间光调制器，该空间光调制器被布置为显示包括全息图的光调制图案。全息图具有[x×y]像素。空间光调制器是硅基液晶空间光调制器，其包括硅背板。空间光调制器还包括[m×n]个像素，其中mn≥xy。空间光调制器的每个像素包括光调制元件和像素电路。每个像素电路都嵌入在硅背板中。每个像素电路被布置为驱动相应的光调制元件。硅背板还包括像素映射电路。像素映射电路布置成接收全息图的每个像素值。像素映射电路还被布置为将全息图的每个像素值路由到空间光调制器的多个像素。因此，根据像素映射电路，全息图显示在空间光调制器的光调制元件上。更具体地，根据像素映射电路，全息图被平铺到空间光调制器的光调制元件上。可选地，光调制图案还可以包括具有[m×n]个像素的光处理函数。每个像素电路可以进一步布置成将接收的全息图的像素值与光处理函数的对应像素值组合，以便在空间光调制器上显示光调制图案。光处理函数可以包括透镜函数和/或光栅函数。
在一些布置中，全息投影仪被配置成形成彩色全息重建。在一些示例中，这是通过称为空间分离色彩或“ssc”的方法来实现的，其中通过使用相应的多个单色光源和相应的多个单色彩全息图来叠加多个不同色彩(例如红色、绿色和蓝色)的全息重建。每个相应的全息图可以在相应的空间光调制器或一个公共空间光调制器的相应多个像素上表示。因此可以理解，在这些示例中使用了多个光通道。因为色彩通道是独立的，所以每个光通道可以使用在此描述的相应的多个不同平铺方案。因此，对于每个色彩通道，多个不同的平铺方案可以相同或不同。
可以使用一种或多种不同的平铺方案来形成在每个色彩通道的相应空间光调制器上表示的输出计算机生成全息图。这样，可以使用第一、第二和第三平铺方案形成单帧彩色全息重建，该第一、第二和第三平铺方案彼此不同或者它们中的一个或多个可以相同。
彩色全息重建也可以使用被称为帧序列色彩或“fsc”的方法来实现。在一个示例fsc系统中，使用三种激光(红色、绿色和蓝色)，并且每种激光在单个slm上连续发射，以产生视频的每个帧。这些色彩(红色、绿色、蓝色、红色、绿色、蓝色等)以足够快的速度循环，使得人类观察者从由三种激光形成的图像的组合中看到多色图像。因此，每个全息图都是特定色彩的。例如，在每秒25帧的视频中，第一帧将通过将红色激光发射1/75秒来产生，然后将绿色激光发射1/75秒，最后将蓝色激光发射1/75秒。然后产生下一帧，从红色激光开始，依此类推。fsc方法的优点是每种色彩都使用整个slm。这意味着所产生的三个彩色图像的质量不会受到影响，因为slm上的所有像素都用于每个彩色图像。
在一些实施例中，平铺方案将输入全息图逐行平铺到显示设备上。与逐平铺块乃至逐像素地形成输出计算机生成全息图相比，以这种方式形成输出计算机生成全息图可能更快，因为长的数据序列可以按照它们在存储器中存储的顺序被映射。这可以减少平铺引擎的运算负荷。
全息投影仪还可以包括全息引擎，该全息引擎被配置成向平铺引擎提供输入全息图。处理器可以被配置成根据目标图像计算出输入全息图。该计算可以使用这里描述的方法实时进行。在一些实施例中，输入全息图的生成包括首先缩小目标图像，使得输入全息图的像素数小于初始目标图像的像素数并且小于显示设备的像素数。替代地，处理器可以被配置成从先前生成的全息图的储存库中检索输入全息图，例如，存储在计算机可读介质或其他存储设备上的先前生成的全息图。
在一些示例中，空间光调制器对接收的光应用纯相位调制。空间光调制器因此可以是纯相位空间光调制器。这可以是有利的，因为通过调制振幅不会损失光能。因此，提供了一种高效的全息投影系统。然而，本公开同样可以在纯振幅空间光调制器或振幅和相位(复合)空间光调制器上实现。可以理解，全息图将相应地是纯相位、纯振幅或完全复合的。
术语“全息图”用于指包含关于物体的振幅和/或相位信息的记录。在本公开中，所输入或所接收的全息图是全息图。整个输出的、计算机生成的全息图也是全息图——术语“全息图”包括输入全息图的完整平铺块和附加部分平铺块的组合。术语“全息重建”用于指通过照射全息图形成的物体的光学重建。术语“重放平面”用于指空间中形成全息重建的平面。术语“图像”、“图像区”和“重放场”是指由形成全息重建的光照射的重放平面的区域。在一些实施例中，“图像”包括可以被称为“图像像素”的像点。
术语“编码”、“写入”或“寻址”用于描述向slm的多个像素提供相应的多个控制值的过程，这些控制值分别确定每个像素的调制级别。可以说，响应于接收到多个控制值，slm的像素被配置成“显示”或“表示”光调制分布或图案。
可以参考计算机生成全息图或空间光调制器的像素的相位值、相位分量、相位信息，或者简单地将相位作为“相位延迟”的简写。也就是说，所描述的任何相位值实际上都是代表该像素提供的相位延迟量的数字(例如，在0到2π的范围内)。例如，被描述为具有π/2相位值的空间光调制器的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可操作于多个可能的调制值(例如相位延迟值)之一。术语“灰度级”可以用来指多个可用的调制级别。例如，为了方便起见，术语“灰度级”可以用来指纯相位调制器中的多个可用相位级，即使不同的相位级没有提供不同的灰度。为了方便起见，术语“灰度级”也可以用来指复合调制器中多个可用的复合调制级。
全息图因此包括灰度级阵列，即光调制值阵列，例如相位延迟值阵列或复合调制值阵列。全息图也被认为是衍射图案，因为它是当显示在空间光调制器上并被波长与空间光调制器的像素间距相当、通常小于空间光调制器的像素间距的光照射时引起衍射的图案。这里参考将全息图与其他衍射图案(例如用作透镜或光栅的衍射图案)相结合。例如，用作光栅的衍射图案可以与全息图组合，以将重放场转移到重放平面上，或者用作透镜的衍射图案可以与全息图组合，以将全息重建聚焦在近场中的重放平面上。
术语“光”在这里以其最广泛的意义使用。一些实施例同样适用于可见光、红外光和紫外光及其任何组合。
本公开仅通过示例的方式提及或描述了1d和2d全息重建。全息重建替代地可以是3d全息重建。也就是说，在本公开的一些示例中，每个计算机生成全息图形成3d全息重建。
附图说明
具体实施例参考以下附图仅以实例的方式加以描述：
图1是示出在屏幕上产生全息重建的反射式slm的示意图；
图2a示出了示例gerchberg-saxton型算法的第一次迭代；
图2b示出了示例gerchberg-saxton型算法的第二次和后续迭代；
图2c示出了示例的替代的第二次和后续迭代；
图3是反射式lcosslm的示意图；
图4示出了用于液晶显示器的示例硅背板；
图5示出了通过平铺第一全息图形成第二全息图的示例；
图6示出了现有技术的形成光调制的方法，该光调制包括平铺的全息图、透镜函数和光栅函数；
图7示出了根据本公开实施例的硅背板的像素映射电路；
图8示出了根据实施例的示例平铺方案；和
图9示出了根据本公开可替换实施例的硅背板的像素映射电路。
在所有附图中，相同的附图标记将用于指代相同或相似的部件。
具体实施方式
本发明不限于下面描述的实施例，而是延伸到所附权利要求的全部范围。也就是说，本发明可以以不同的形式实施，并且不应该被解释为限于所描述的实施例，这些实施例是为了说明的目的而阐述的。
被描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应当被解释为包括结构彼此接触的情况，并且此外包括第三结构设置在它们之间的情况。
在描述时间关系时，例如，当事件的时间顺序被描述为“之后”、“后续”、“下一个”、“之前”等时，除非另有说明，否则本公开应当被认为包括连续和非连续事件。例如，除非使用“就在”、“立即”或“直接”等措辞，否则描述应理解为包括不连续的情况。
虽然术语“第一”、“第二”等可以在此用于描述各种元素，这些元素不受这些术语的限制。这些术语仅用于区分一种元素和另一种元素。例如，在不脱离所附权利要求的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
不同实施例的特征可以部分或全部彼此耦合或组合，并且可以彼此不同地相互操作。一些实施例可以彼此独立地执行，或者可以以相互依赖的关系一起执行。
尽管不同的实施例和实施例组可以在随后的详细描述中单独公开，但是任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征组合相结合。也就是说，设想了本公开中公开的特征的所有可能的组合和置换。
光学配置
图1示出了一个实施例，其中计算机生成全息图在单个空间光调制器上被编码。计算机生成全息图是对用于重建的物体的傅里叶变换。因此，可以说全息图是物体的傅里叶域或频域或谱域表示。在该实施例中，空间光调制器是反射型硅基液晶“lcos”设备。全息图在空间光调制器上被编码，并且全息重建形成于重放场上，例如如屏幕或漫射体的光接收表面上。
光源110，例如激光器或激光二极管，被设置成通过准直透镜111照射slm140。准直透镜使得光的大致平面波前入射到slm上。在图1中，波前的方向是偏离法线的(例如，与透明层平面真正正交偏离两到三度)。然而，在其他实施例中，总体上平面的波前以垂直入射提供，并且分束器布置用于分离输入和输出光路。在图1所示的实施例中，该布置使得来自光源的光从slm的镜射后表面反射出，并与光调制层相互作用以形成出射波前112。出射波前112被应用于包括傅里叶变换透镜120的光学器件，其焦点在屏幕125上。更具体地，傅里叶变换透镜120接收来自slm140的调制光束，并执行频率空间变换以在屏幕125上产生全息重建。
值得注意的是，在这种全息术中，全息图的每个像素都有助于整个重建。重放场中的特定点(或图像像素)和特定光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布遍及重放场。
在这些实施例中，全息重建在空间中的位置由傅里叶变换透镜的屈光(聚焦)度决定。在图1所示的实施例中，傅里叶变换透镜是物理透镜。即，傅里叶变换透镜是光学傅里叶变换透镜，并且傅里叶变换是以光学方式执行的。任何透镜都可以充当傅里叶变换透镜，但是透镜的性能会限制其执行傅里叶变换的精度。本领域技术人员理解如何使用透镜来执行光学傅里叶变换。
全息图计算
在一些实施例中，计算机生成全息图是傅里叶变换全息图，或者简单地是傅里叶全息图或基于傅里叶的全息图，其中通过利用正透镜的傅里叶变换特性在远场中重建图像。傅里叶全息图是通过将重放平面中的所需光场进行傅里叶变换回到透镜平面来计算的。计算机生成的傅里叶全息图可以使用傅里叶变换来计算。
傅里叶变换全息图可以使用诸如gerchberg-saxton算法的算法来计算。此外，gerchberg-saxton算法可用于从空间域中的纯振幅信息(例如照片)计算傅里叶域中的全息图(即傅里叶变换全息图)。从空间域中的纯振幅信息中有效地“检索”与物体相关的相位信息。在一些实施例中，使用gerchberg-saxton算法或其变体由纯振幅信息计算出计算机生成全息图。
gerchbergsaxton算法考虑了分别在平面a和平面b中的光束的强度截面ia(x,y)和ib(x,y)是已知的，并且ia(x,y)和ib(x,y)是通过单个傅里叶变换而相关的情况。对于给定的强度截面，找到了分别在平面a和平面b中的相位分布ψa(x,y)和ψb(x,y)的近似值。gerchberg-saxton算法通过遵循迭代处理找到这个问题的解决方案。更具体地说，gerchberg-saxton算法迭代地应用空间和频谱约束，同时在空间域和傅里叶(频谱或频率)域之间重复传输代表ia(x,y)和ib(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中相应的计算机生成全息图。该算法是收敛的，并且被布置成产生表示输入图像的全息图。全息图可以是纯振幅全息图、纯相位全息图或完全复合的全息图。
在一些实施例中，使用基于gerchberg-saxton算法的算法来计算纯相位全息图，例如在英国专利2,498,170或2,501,112中描述的算法，在此通过引用将其全部并入。然而，这里公开的实施例仅通过示例的方式描述了计算纯相位全息图。在这些实施例中，gerchberg-saxton算法检索数据集的傅里叶变换的相位信息ψ[u,v]，该相位信息产生已知的振幅信息t[x,y]，其中振幅信息t[x,y]代表目标图像(例如照片)。由于幅度和相位在傅里叶变换中本质上是结合在一起的，所以变换后的幅度和相位包含关于计算数据集的精度的有用信息。因此，可以迭代地使用该算法，同时反馈幅度和相位信息。然而，在这些实施例中，只有相位信息ψ[u,v]被用作全息图，以在图像平面上形成代表目标图像的全息图。全息图是相位值的数据集(例如2d阵列)。
在其他实施例中，基于gerchberg-saxton算法的算法被用于计算完全复合全息图。完全复合全息图是具有幅度分量和相位分量的全息图。全息图是包括复合数据值阵列的数据集(例如2d阵列)，其中每个复合数据值包括幅度分量和相位分量。
在一些实施例中，该算法处理复合数据，并且傅里叶变换是复合傅里叶变换。复合数据可以被认为包括(i)实部分量和虚部分量，或者(ii)幅度分量和相位分量。在一些实施例中，复合数据的两个分量在算法的不同阶段被不同地处理。
图2a示出了根据一些实施例的用于计算纯相位全息图的算法的第一次迭代。算法的输入是包括具有像素或数据值的2d阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可以被认为是纯幅度或纯振幅或纯强度分布。这种输入图像210的一个示例是照片或者是包括时间帧序列的视频的一帧。该算法的第一次迭代从数据形成步骤202a开始，包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复合数据集，其中该集合的每个数据元素包括幅度和相位。可以说，起始复合数据集代表空间域中的输入图像。
第一处理块250接收起始复合数据集，并执行复合傅里叶变换以形成傅里叶变换的复合数据集。第二处理块253接收傅里叶变换的复合数据集并输出全息图280a。在一些实施例中，全息图280a是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280a。每个相位值根据可以在将用于“显示”纯相位全息图的空间光调制器的像素上表示的相位级来量化。例如，如果空间光调制器的每个像素提供256个不同的相位级，全息图的每个相位值被量化成256个可能相位级中的一个相位级。全息图280a是代表输入图像的纯相位傅里叶全息图。在其他实施例中，全息图280a是完全复合的全息图，包括从所接收的傅里叶变换的复合数据集导出的复合数据值阵列(每个包括振幅分量和相位分量)。在一些实施例中，第二处理块253将每个复合数据值约束为多个允许的复合调制级别之一，以形成全息图280a。约束步骤可以包括将每个复合数据值设置为复合平面中最近的允许复合调制级别。可以说全息图280a代表频谱域或傅里叶域或频率域中的输入图像。在一些实施例中，该算法止于这一点。
然而，在其他实施例中，该算法继续，如图2a中的虚线箭头所示。换句话说，图2a中虚线箭头后面的步骤是可选的(即，不是所有实施例都必须的)。
第三处理块256从第二处理块253接收修改后的复合数据集，并执行傅里叶逆变换以形成傅里叶逆变换的复合数据集。可以说，傅里叶逆变换的复合数据集代表空间域中的输入图像。
第四处理块259接收傅里叶逆变换的复合数据集，并提取幅度值分布211a和相位值分布213a。可选地，第四处理块259评估幅度值分布211a。具体而言，第四处理块259可以将傅里叶逆变换的复合数据集的幅度值分布211a与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值分布211a和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280a是可接受的。也就是说，如果幅度值分布211a和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280a足够精确地代表输入图像210。在一些实施例中，为了比较的目的，忽略傅里叶逆变换的复合数据集的相位值分布213a。应当理解，可以采用任意数量的不同的方法来比较幅度值分布211a和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则全息图280a被认为是可接受的。如果第四处理块259确定全息图280a不可接受，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，所执行的算法的迭代次数是预定的或预设的或用户定义的。
图2b代表算法的第二次迭代以及算法的任意进一步迭代。前一次迭代的相位值分布213a通过算法的处理块被反馈。拒绝幅度值分布211a，而优先考虑输入图像210的幅度值分布。在第一次迭代中，数据形成步骤202a通过将输入图像210的幅度值分布与随机相位分布230相结合来形成第一复合数据集。然而，在第二次和随后的迭代中，数据形成步骤202b包括通过将(i)来自算法的前一次迭代的相位值分布213a与(ii)输入图像210的幅度值分布相结合来形成复合数据集。
由图2b的数据形成步骤202b形成的复合数据集然后以参考图2a所描述的相同方式被处理，以形成第二迭代全息图280b。因此，这里不再重复对该处理的解释。当已经计算出第二迭代全息图280b时，该算法可以停止。然而，可以执行算法的任何数量的进一步迭代。应当理解，只有当需要第四处理块259或者需要进一步迭代时，才需要第三处理块256。输出全息图280b通常随着每次迭代而变得更好。然而，在实践中，通常达到一个点，在该点上没有观察到可测量的改进，或者执行进一步迭代的正面好处被附加处理时间的负面影响抵消。因此，该算法被描述为迭代和收敛的。
图2c表示第二次和后续迭代的替代实施例。前一次迭代的相位值分布213a通过算法的处理块被反馈。拒绝幅度值分布211a，而优先考虑幅度值的替代分布。在该替代实施例中，从前一次迭代的幅度值分布211中导出幅度值的替代分布。具体地，处理块258从前一次迭代的幅度值分布211中减去输入图像210的幅度值分布，将该差值缩放增益因子α，并从输入图像210中减去缩放后的差值。这由以下等式数学表示，其中下标文本和数字表示迭代次数：
rn 1[x,y]＝f'{exp(iψn[u,v])}
ψn[u,v]＝∠f{η·exp(i∠rn[x,y])}
η＝t[x,y]-α(|rn[x,y]|-t[x,y])
其中:
f’是傅里叶逆变换；
f是正向傅里叶变换；
r[x,y]是由第三处理块256输出的复合数据集；
t[x,y]是输入或目标图像；
∠是相位分量；
ψ是纯相位全息图280b；
η是新的幅度值分布211b；和
α是增益因子。
增益因子α可以是固定的或可变的。在一些实施例中，增益因子α是基于传入目标图像数据的大小和速率来确定的。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
图2c的实施例在所有其他方面与图2a和图2b的实施例相同。可以说，纯相位全息图ψ(u,v)包括频域或傅里叶域中的相位分布。
在一些实施例中，使用空间光调制器来执行傅里叶变换。具体地，将全息图数据与提供光焦度的第二数据相结合。也就是说，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据模拟物理透镜，也就是说，它以与相应物理光学器件相同的方式将光聚焦。因此，透镜数据提供光焦度或聚焦度。在这些实施例中，可以省略图1的物理傅里叶变换透镜120。在本领域中，如何计算代表透镜的数据是已知的。代表透镜的数据可以被称为软件透镜。例如，纯相位透镜可以通过计算由于其折射率和空间变化的光程长度而由透镜的每个点所引起的相位延迟来形成。例如，凸透镜中心的光程长度大于透镜边缘的光程长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成全息术领域中，还已知如何将代表透镜的数据与全息图相结合，使得全息图的傅里叶变换可以在不需要物理傅里叶透镜的情况下执行。在一些实施例中，透镜化数据通过简单的加法(例如简单的矢量加法)与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用来执行傅里叶变换。替代地，在其他实施例中，傅里叶变换透镜被完全省略，使得全息重建发生在远场中。在进一步的实施例中，全息图可以以相同的方式与光栅数据结合，光栅数据即是被布置来执行光栅函数(例如光束转向)的数据。同样，我们知道如何计算这些数据。例如，可以通过为在闪耀光栅表面上的每个点所引起的相位延迟建模来形成纯相位光栅。纯振幅光栅可以简单地与纯振幅全息图叠加，以提供全息重建的角度转向。
在一些实施例中，傅里叶变换由物理傅里叶变换透镜和软件透镜共同执行。也就是说，有助于傅里叶变换的一些光焦度由软件透镜提供，而有助于傅里叶变换的其余光焦度由一个或多个物理光学器件提供。
在一些实施例中，提供了实时引擎，该实时引擎被布置成接收图像数据并使用算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图是预先计算的，存储在计算机存储器中，并且根据需要被调用以显示在slm上。也就是说，在一些实施例中，提供了预定全息图的储存库。
实施例仅作为示例涉及傅里叶全息术和gerchberg-saxton型算法。本公开同样适用于菲涅耳全息术和菲涅耳全息图，它们可以通过类似的方法计算。本公开也适用于通过例如基于点云法的其他技术计算的全息图。
光调制
空间光调制器可用于显示包括计算机生成全息图的衍射图案。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是完全复合的全息图，可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
根据本公开，空间光调制器是硅基液晶(lcos)空间光调制器。因此空间光调制器的光调制元件(即，像素)是包含液晶的多个单元。也就是说，空间光调制器是液晶设备，其中光学活性部件是液晶。每个液晶单元被配置成选择性地提供多个光调制级别。也就是说，每个液晶单元在任一时间被配置成在从多个可能的光调制级别中选择的一个光调制级别下操作。每个液晶单元可动态地重新配置成与多个光调制级别不同的光调制级别。在一些实施例中，空间光调制器是反射型lcos空间光调制器。
lcos设备在小孔径(例如几厘米宽)内提供密集的光调制元件阵列或像素阵列。像素通常约为10微米或更小，这样会得到几度的衍射角，这意味着光学系统可以是紧凑的。与其他液晶设备的较大孔径相比，更容易充分照射lcosslm的小孔径。lcos设备通常是反射性的，这意味着驱动lcosslm的像素的电路可以埋在硅背板中的反射表面之下。这样得到较高的孔径比。换句话说，像素密集排列，意味着像素之间几乎没有死空间。这是有利的，因为它减少了重放场中的光学噪声。lcosslm包括硅背板，其优点是像素是光学平坦的。这对相位调制设备尤其重要。此外，除了下面参考图4描述的像素驱动电路之外，硅背板还可以包括像素寻址电路。
下面参考图3，仅通过示例的方式描述合适的lcosslm。使用单晶硅衬底302形成lcos设备。它具有方形平面铝电极301的2d阵列，由间隙301a隔开，布置在衬底的上表面上。每个电极301可以通过埋在衬底302中的电路302a寻址。每个电极形成各自的平面镜。配向层303设置在电极阵列上，液晶层304设置在配向层303上。第二配向层305设置在例如玻璃制成的平面透明层306上。例如ito制成的单个透明电极307设置在透明层306和第二配向层305之间。
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学活性的总像素的百分比。通过相对于透明电极307控制施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的属性，从而为入射到其上的光提供可变延迟。其效果是为波前提供纯相位调制，即没有振幅效应发生。
所描述的lcosslm输出反射的空间调制光。反射式lcosslm的一个优点在于信号线、栅极线和晶体管位于镜面之下，这样得到高填充因子(通常大于90％)和高分辨率。使用反射式lcos空间光调制器的另一个优点是，液晶层的厚度可以是使用透射式设备时所需厚度的一半。这大大提高了液晶的切换速度(这是投影运动视频图像的关键优点)。然而，本公开的教导同样可以使用透射式lcosslm来实现。在实施例中，接收到的计算机生成全息图是平铺引擎的输入全息图。根据平铺方案，输入全息图被“平铺”在空间光调制器上，并且平铺方案被动态改变，例如，它在输入全息图之间被改变。参考图4进一步解释“平铺块”和“平铺”的概念。
背板架构
图4显示了用于液晶显示器(例如lcosslm)的示例硅背板。本领域技术人员将熟悉包括像素寻址电路的一般架构，该像素寻址电路包括列驱动器450、行驱动器460以及用于寻址显示器的像素的列线和行线的网格。列线可以承载数据信号，并且行线可以承载栅极信号。每个像素位于列线和行线之间的交点处，使得每个像素可以被单独地控制。
图4仅以示例的方式示出了四个像素。该架构可以缩放成驱动任意数量的像素，例如1024x768像素。每个像素包括像素电路400。每个像素还包括光调制元件。在图4的示例中，光调制元件是液晶410。在所示的示例中，每个像素电路包括晶体管420和电荷存储电容器430。像素电容器430连接到液晶410。在一些实施例中，像素电容器430并联连接至液晶410。本公开涉及一种硅背板，例如模拟背板，其中，每个像素电路包括像素电容器430，其被布置为存储用于驱动(例如，开关)液晶410的电荷。可以使用诸如cmos工艺的常规硅芯片制造工艺来形成包括像素寻址电路和用于驱动各个像素的像素电路400的硅背板。可以说，硅背板是cmos硅背板。图4仅作为示例示出了多个简单像素电路。在所示的配置中，像素电容器430与液晶410并联地充电。在所示的示例中，像素电容器用作电子镇流器。然而，本领域技术人员可以熟悉各种更高级的布置，其中每个像素电路包括多个晶体管和/或多个电容器。例如，可以包括第二晶体管以控制电荷何时从像素电容器430流到液晶410以开关液晶。像素电路被嵌入在像素的后面，并且像素电路的物理尺寸受到像素尺寸的限制。在大多数显示设备中，通常首选小像素。然而，像素电容器的尺寸可能限制显示设备的像素尺寸。
全息平铺
图5示出了通过平铺输入全息图而形成的示例性全息图。该全息图的像素在两个方向上都比输入全息图的像素多。可以说，通过将输入全息图平铺到包括比输入全息图更多的像素的画布(canvas)上来形成该全息图。图5所示的全息图包括完整平铺块500、第一部分平铺块510、第二部分平铺块520和第三部分平铺块530。在优选的实施例中，全息图的相邻平铺块边缘对边缘连接。即，所有相邻平铺块或者将输入全息图的像素的最后一列连接到输入全息图的像素的第一列，或者将输入全息图的像素的最后一行连接到输入全息图的像素的第一行。
全息图可以在平铺之后并且在显示于显示设备之前被进一步处理。在一些实施例中，在平铺的全息图被显示之前，将透镜函数和/或光栅函数(如本文档的其他地方所描述的)与平铺的全息图组合。
图6示出了准备将包括平铺块的全息图以用于显示的示例。平铺引擎620从全息图引擎接收第一全息图600。第一全息图600包括[x×y]个像素。平铺引擎620通过将第一全息图600平铺到较大的画布上来形成第二全息图630。第二全息图630包括[m×n]个像素，其中mn≥xy。仅作为示例，第二全息图630包括一个完整平铺块和三个部分平铺块。
第二全息图630通过根据平铺方案映射第一全息图600的像素来形成。平铺方案也可以称为寻址方案或映射方案。平铺方案提供关于第一全息图600的哪些像素应该被映射到第二全息图630的哪些像素的指示。如图6所示，该示例的第二全息图630包括[x×y]个像素的子集，这些像素与第一全息图600的[x×y]个像素相同。第二全息图630还包括输入全息图的三个不同的像素子集，每个子集代表第一全息图600的[x×y]个像素的相接、连续子集。像素的每个相接、连续子集代表第一全息图600的完整子部分。再次，第一全息图的像素的每个子集称为部分平铺块，其中第一全息图600的[x×y]个像素的完整集合是与第一全息图600相同的完整平铺块。在这方面，平铺方案将第一全息图600的像素以像素组或平铺块的形式映射到第二全息图630，而不是将第一全息图600的各个相邻像素随机分配到相对于第二全息图630中另一个像素的完全不同的位置。
一旦通过平铺引擎620已经形成第二全息图630，就可以将其显示在诸如空间光调制器的显示设备上。可选地，第二全息图630可以在其被显示在显示设备上之前被进一步处理。在图6所示的示例中，提供了用于将光处理函数应用于第二全息图630的附加引擎640。这些光处理函数可以包括例如透镜函数和/或光栅函数(如本公开中其他地方所述)。附加引擎640将透镜函数650和光栅函数660应用于第二全息图，以形成可以在显示设备680上显示的第三全息图670。可以通过简单的添加将透镜函数650和光栅函数660与第二全息图组合。透镜函数和光栅函数可以分别是纯相位图案。光栅函数可以是相位斜坡函数。
诸如现场可编程门阵列之类的驱动器可以用于将第三全息图670的像素值发送到显示设备680。值得注意的是，驱动器输出第三全息图670的每个像素，其根据显示设备定义的时序方案或协议被提供给显示设备680。时序方案要求驱动器在由显示设备680定义的时间窗口内将第三全息图670的所有像素值供给显示设备680。数据被逐个地流传输到显示设备680。在比较示例中，包括第三全息图670的像素值的数据被逐个地流传输到显示设备。像素值可以逐行串行地流传输。被流传输到显示设备的每个数据集中的像素值数量是系统的限制因素。具体来说，它定义每个像素接收驱动电压的频率。因此，它定义了每个像素可以被刷新或重写的频率。这有两个重大后果：首先，它对显示设备的分辨率(每单位距离的像素)设置了上限，其次，对在一帧期间可以显示多少个子帧设置了上限(如将在以下进一步描述)。在上述的比较示例中，值得注意的是，整个第三全息图的数据由驱动器逐像素地流传输到空间光调制器。
每个像素可以被刷新的频率确定了模拟背板的每个像素电容器所需的电容。每个像素电容器的电容确定每个像素电容器的物理尺寸。每个像素电容器的物理尺寸限制了硅基液晶设备中每个像素的物理尺寸。
在一些实施例中，以诸如视频帧速率的帧速率来更新投影图像。在一些实施例中，每个像素在一帧期间需要被刷新或重写多次。因此，每个帧可以包括多个子帧，其中每个子帧是显示事件。帧的子帧可以相同或不同，即使它们产生或有助于相同的图像。子帧时间可以小于人眼的整合时间。在一些实施例中，在相同图像的子帧之间改变平铺方案。这等于将平铺块的大小和/或位置从一个子帧变成下一子帧。如果第一全息图不变，则平铺移位不会更改图像内容。然而，它可以改善观看者感知的图像。在一些实施例中，可以在子帧级别使用交织以增加图像的分辨率。如果增加每个像素的更新频率，则可以在帧时间内增加可以发送到显示设备的不同子帧的数量。这增加了在子帧级别进行交织和平铺移位的选项。本公开提供了图6的替代方案，其解锁了这些可能性。
像素映射
在本公开的实施例中，每个像素的数据线被连接到多个像素。图7示出了数据线700，其承载与第一全息图的一个像素相对应的像素数据。在实施例中，通过将数据线700分成四个分支从而将第一全息图平铺到显示设备上，四个分支分别连接到各自的光调制元件710、720、730、740。每个分支上的像素数据可以被单独处理。例如，第一分支上的像素数据可以与第一数据712、第二数据714和第三数据716组合。第一数据可以代表透镜函数。第二数据可以代表水平光栅函数。第三数据可以代表垂直光栅函数。透镜函数和光栅函数也分别由离散像素值的阵列表示。因此将全息图数据与透镜和光栅函数组合在一起包括组合相应像素的像素值。例如，可以将a行b列中的全息图像素值与a行b列中的透镜像素值组合，以将全息图与透镜函数组合。在一些实施例中，像素值通过简单相加来组合。每个分支的第一、第二和第三数据可以在单个相加中与对应的全息像素数据组合。
因此，图7中描述的像素映射架构平铺第一全息图并应用至少一个光处理函数(例如，透镜和/或光栅)。值得注意的是，将每个全息像素发送或路由到多个显示像素的像素映射电路被嵌入在显示设备的硅背板中。例如，像素映射电路可以是像素寻址电路的一部分。如下面进一步描述的，像素映射电路可以动态地改变数据线和多个像素之间的映射。因此，像素映射电路可以包括形成在硅背板中的开关电路。将每个全息像素与第一、第二和第三数据组合所需的处理元件是像素电路的一部分，该像素电路也嵌入在硅背板中。特别地，每个像素电路可以包括用于存储与各个像素相关联的第一、第二和第三数据的数据存储装置(例如一个或多个存储单元)，以及用于组合(例如相加)第一、第二和第三数据以及在数据线上接收的像素数据的各个电路元件。例如，可以在数据线和像素电路的电路元件(例如用于驱动像素的晶体管)之间的路径中提供相应的第一、第二和第三加法器电路，以将相应的第一、第二和第三数据相加到数据线上提供的像素数据。用于存储与像素相关联的第一、第二和第三数据的数据存储装置可以是固定的或可寻址的。技术人员将能够使用常规(例如，cmos)电路设计工具在硅背板中设计这样的电路。根据这些实施例，可以更频繁地刷新显示设备的像素。在图7的实施例中，因为每个全息像素值被发送到显示设备的四个像素，所以在可以刷新第一显示像素之前需要供给显示设备的数据量减少了四倍。通常由显示驱动器提供的功能(如图6所示)替代地嵌入在显示设备的硅背板中。因此减少了对放置在显示驱动器上的需求，该需求可能是系统的复杂组件。本领域技术人员将理解，可以将每个数据线发送到显示设备的任意数量的像素，并且图7仅通过示例的方式示出了将每个全息像素值发送到有四个显示像素的组。在一些实施例中，所有全息像素被发送到相同数量的显示像素。在其他实施例中，将不同的全息像素发送到不同数量的显示像素。在一些实施例中，可以动态地切换定义每个单独的全息图像素到(任意数量的)显示像素的组的映射或路由的映射方案。即，可以通过与像素映射电路相关联的晶体管或开关电路在不同的时间将单独的全息像素发送到不同的显示像素组。可以根据如上所述的平铺方案来控制晶体管或开关电路。
在图8的实施例中，一些全息像素值被发送到四个显示像素，其他全息像素值被发送到仅两个显示像素，而其余的全息像素仅被发送到一个显示像素。在图8中，全息像素a，b，g和h被发送到四个显示像素。全息像素m，n，s，t，c，d，e，f，i，j，k和l分别被发送到两个显示像素。全息像素o，p，q，r，u，v，w和x仅被发送到一个显示像素。该方案在显示设备上形成光调制图案，其包括完整平铺块800、第一部分平铺块810、第二部分平铺块820和第三部分平铺块830。在一些实施例中，每个光处理函数的像素值由像素在显示设备上的空间位置确定。即，即使完整平铺块800和第一部分平铺块810包含对应于同一全息像素的一些像素(例如，a或t)，与该全息像素值组合的光处理函数也可以不同。例如，与完整平铺块800中的全息像素a组合的第一数据可以不同于与第一部分平铺块810中的全息像素a组合的第一数据。在这些实施例中，因此应理解，每个光处理函数都与第二全息图作为整体而组合。不同于第一全息图，可以说每个光处理函数都不是平铺的。即，每个光处理函数不包括多个平铺块。
在一些实施例中，像素映射电路被布置为在图像帧的子帧之间或图像帧序列的帧之间改变或切换映射方案，以提供上述的平铺移位。技术人员将理解，如何将包括多个开关的晶体管或开关电路与像素映射电路合并以提供该功能。发明人已经发现，在帧或子帧之间切换像素映射可以改善全息投影仪中的图像质量。所显示的每个光调制图案可以由完整平铺块和/或部分平铺块的任何合适的布置形成。例如，平铺方案可包括将第一全息图的两个到八个平铺块映射到对应的第二全息图。可选地，平铺方案可以包括将第一全息图的两个到六个平铺块映射到对应的第二全息图。可选地，平铺方案可以包括将第一全息图的四个平铺块映射到对应的第二全息图。
在实施例中，可以改变向全息图提供光学函数和/或转向函数的光处理函数。因此，可以改变存储在硅背板中的像素电路的数据存储装置中的光处理函数的像素的值。在这种情况下，像素电路的数据存储装置是可寻址的。如本领域技术人员将理解的，在许多全息显示应用中，光处理函数的改变发生的频率低于每帧可能发生的全息图的改变。因此，像素电路中的数据存储装置被相对不频繁地寻址和写入，并且在一些应用中仅被寻址或写入一次。
替代实施例
在以上实施例中，通过硅背板中的单个像素的像素电路将光处理函数与在数据线上接收的像素值组合。这需要在显示设备的有效区域(即，嵌入在像素后面)中向像素电路添加硬件组件(即，电路元件)。如前所述，像素电路的物理尺寸受到像素尺寸的限制，并且通常优选小像素。因此，增加像素电路的尺寸可能会限制显示设备的像素尺寸。
在替代实施例中，可以通过硅背板中的像素访问电路将光处理函数与像素值组合。由于像素访问电路通常在显示设备的有效区域之外，因此将光处理函数与像素值组合在一起所需的附加电路元件不会限制像素的物理尺寸。如本领域技术人员将理解的，像素访问电路(也称为像素寻址电路)通常包括形成在硅背板中的列和行访问电路/驱动器，如图4所示。
因此，在替代实施例中，可以如图9所示修改图7的像素映射架构。特别地，图9示出了硅背板中的线900，其(例如，从显示驱动器)接收与第一全息图的一个像素对应的像素数据。通过将线900分成四个分支，将第一全息图平铺到显示设备上，每个分支连接以驱动相应的光调制元件910、920、930、940的数据线918、928、938、948。分支在硅背板中的像素访问电路中提供，例如在本文所述的列驱动器中和/或在像素映射电路中。每个分支上的像素数据可以被单独处理。例如，第一分支上的像素数据可以与用于第一像素910的第一数据912、第二数据914和第三数据916组合。第一数据可以表示透镜函数(即透镜像素值)。第二数据可以表示水平光栅函数(即，水平光栅像素值)。第三数据可以表示垂直光栅函数(即，垂直光栅像素值)。特别地，如本文所述，透镜函数和光栅函数也分别由离散像素值的阵列表示。因此，每个分支将全息像素值与像素的光处理函数像素值组合，以输出用于驱动各个像素的组合像素值。例如，可以将a行b列中的全息图像素值与a行b列中的透镜像素值组合，以将全息图与透镜函数组合。在一些实施例中，像素值通过简单相加来组合。每个分支的第一、第二和第三数据可以在单个相加中与对应的全息像素数据组合。因此，由于每个显示像素具有关联的(唯一的)光处理函数，因此像素访问电路包括针对显示设备的每个像素的分支。可以将与每个分支相关联的第一、第二和第三数据存储在本文所述的固定或可寻址数据存储装置中。用于执行全息图像素值和光处理函数(即，透镜和/或光栅函数)像素值的组合的每个分支可以被形成为嵌入在硅背板中的像素访问电路的一部分。例如，可以使用常规cmos处理来形成电路。每个分支连接到与各个像素相关联的数据线。因此，与像素相关联的像素电路在各个数据线上接收包括全息图和光处理函数的组合的像素值。
替代实施例需要与第一实施例相同数量的附加电路元件，但是位于显示设备的有效区域之外。因此，由附加电路占用的空间不限制像素的物理尺寸。如现有技术中那样，每个像素由组合了全息图数据(其可以被提供给多个像素)和光处理函数数据(其特定于单个像素)的单个数据信号驱动。然而，通过利用硅背板中的电路将全息图数据和光处理函数数据进行组合，减少了传统上将全息图和光处理数据组合在一起的显示驱动器或全息图计算引擎上的处理负荷。此外，通过电路进行处理的速度比软件处理架构更快。最后，如在第一实施例中，也可以通过显示设备的硅背板中的像素映射电路或像素访问电路来应用平铺方案。
因此，提供了一种具有多个像素的空间光调制器，其被布置为显示包括具有多个像素的全息图的光调制图案。空间光调制器是包括硅背板的硅基液晶空间光调制器。空间光调制器的每个像素包括光调制元件，该光调制元件具有嵌入在硅背板中的相应像素电路。每个像素电路被布置为驱动相应的光调制元件。空间光调制器还包括嵌入在硅背板中的像素访问电路。像素访问电路被布置为向每个像素电路提供数据信号。像素访问电路被布置为将接收的全息图的像素值与光处理函数的对应像素值进行组合，使得光调制图案还包括光处理函数。光处理函数包括透镜函数和/或光栅函数。
本文描述的空间光调制器可以用作全息投影仪的一部分。可选地，全息投影仪还包括布置成照射空间光调制器的光源。当在空间光调制器上显示或表示光调制图案时，空间光调制器的照射使得能够形成与第一全息图相对应的全息重建。光源可以是至少部分空间相干的光源、空间相干的光源或激光器。可选地，全息投影仪还包括在其上形成全息重建的屏幕(诸如漫射器)。屏幕相对于空间光调制器的位置可以至少部分地由透镜函数的光焦度与第一全息图相组合来确定。例如，可以将屏幕定位在与第一全息图组合的透镜函数的焦平面处。
这里描述的方法和过程可以在计算机可读介质上实现。术语“计算机可读介质”包括被布置成临时或永久存储数据的介质，例如随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”还应被理解为包括能够存储供机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时，使机器整体或部分地执行这里描述的任何一种或多种方法。
术语“计算机可读介质”也包括基于云的存储系统。术语“计算机可读介质”包括但不限于固态存储器芯片、光盘、磁盘或其任何合适组合的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传送。这种载体介质的示例包括瞬态介质(例如，传送指令的传播信号)。
对于本领域技术人员来说，很明显，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变化。本公开涵盖所附权利要求及其等同物范围内的所有修改和变化。
1.一种具有多个像素的空间光调制器，所述空间光调制器被布置为显示包括具有多个像素的全息图的光调制图案，
其中，所述空间光调制器是包括硅背板的硅基液晶空间光调制器，并且所述空间光调制器的每个像素包括光调制元件和嵌入在所述硅背板中的相应的像素电路，其中每个像素电路被布置为驱动相应的光调制元件，以及
每个像素电路还被布置为将接收的全息图的像素值与光处理函数的对应像素值组合，使得所述光调制图案还包括所述光处理函数，
其中，所述光处理函数包括透镜函数和/或光栅函数。
2.根据权利要求1所述的空间光调制器，其中所述全息图包括[x×y]个像素，并且所述空间光调制器包括[m×n]个像素，其中mn≥xy，并且所述硅背板还包括像素映射电路，所述像素映射电路被布置为接收所述全息图的每个像素值并将所述全息图的每个像素值路由到所述空间光调制器的多个像素，从而使用所述像素映射电路将所述全息图平铺到所述空间光调制器的所述光调制元件上。
3.根据权利要求2所述的空间光调制器，其中所述像素映射电路被布置成根据平铺方案来改变用于将所述全息图的每个像素值路由到所述空间光调制器的多个像素的方案。
4.根据前述权利要求中任一项所述的空间光调制器，其中m≥2x并且n≥2y，并且所述全息图的每个像素值被路由到所述空间光调制器的至少四个像素。
5.根据前述权利要求中任一项所述的空间光调制器，其中所述全息图被平铺到所述空间光调制器上，从而在其上显示所述全息图的至少一个完整平铺块，其中所述全息图的完整平铺块是所述全息图的完整、相接的[x×y]个像素的组。
6.根据前述权利要求中任一项所述的空间光调制器，其中所述全息图的相邻平铺块边缘对边缘相连。
7.根据前述权利要求中任一项所述的空间光调制器，其中每个像素电路包括连接到所述光调制元件的像素电容器，其中所述像素电容器被布置为对所述光调制元件充电。
8.一种全息投影仪，包括前述权利要求中任一项所述的空间光调制器和光源，所述光源被布置成用相干光照射所述光调制图案，使得在重放平面上形成与所述全息图相对应的全息重建，所述重放平面与所述空间光调制器在空间上分离。
9.根据权利要求8所述的全息投影仪，还包括驱动器，所述驱动器被布置为向所述空间光调制器发送多个全息图，每个全息图包括[x×y]个像素。
10.一种在空间光调制器上显示光调制图案的方法，所述光调制图案包括具有多个像素的全息图，所述空间光调制器具有多个像素，其中，所述空间光调制器是包括硅背板的硅基液晶空间光调制器，并且所述空间光调制器的每个像素包括光调制元件和嵌入在所述硅背板中的相应的像素电路，以及所述方法包括：
每个像素电路将接收的全息图的像素值与光处理函数的对应像素值组合，使得显示在所述空间光调制器上的所述光调制图案还包括所述光处理函数，其中，所述光处理函数包括透镜函数和/或光栅函数。
11.根据权利要求10所述的显示光调制图案的方法，其中所述全息图包括[x×y]个像素，并且所述空间光调制器包括[m×n]个像素，其中mn≥xy，并且所述方法还包括使用嵌入在所述空间光调制器上的所述硅背板中的像素映射电路将所述全息图的每个像素值路由到所述空间光调制器的多个像素，使得所述全息图被平铺到所述空间光调制器的所述光调制元件上。
12.根据权利要求10或11所述的显示光调制图案的方法，其中通过将所述全息图的平铺块边缘对边缘相连从而将所述全息图平铺到所述空间光调制器的所述光调制元件上。
13.一种全息投影的方法，所述方法包括根据权利要求10至12中任一项所述的显示光调制图案的方法，并且所述方法还包括：
用来自光源的相干光照射所述光调制图案，以在重放平面上形成与所述全息图相对应的全息重建，所述重放平面与所述空间光调制器在空间上分离。
14.一种全息投影方法，还包括使用权利要求13的方法步骤来形成与第二全息图相对应的第二全息重建，并使用光栅函数相对于第一全息重建在重放平面上移位所述第二全息重建，使得所述第二全息重建的像点形成在所述第一全息重建的像点之间的空间中。
15.根据权利要求14所述的全息投影方法，其中所述第一全息重建和所述第二全息重建是交织的，使得所述重放平面的观看者感知的全息重建比单独的所述第一全息重建或第二全息投影具有更高的分辨率。
技术总结