本公开涉及一种用于空间光调制器的驱动器、一种用于空间光调制器的平铺引擎(tilingengine)以及一种驱动空间光调制器的方法。更具体地，本公开涉及一种全息投影仪和一种全息投影方法。一些实施例涉及一种提高全息投影质量的方法和一种提高全息投影分辨率的方法。其他实施例涉及一种用于将输入全息图的像素映射到显示像素上的全息图处理器，以及一种将全息图像素映射到包括像素的显示设备上的方法。进一步的实施例涉及一种包括全息投影仪的平视显示器。
背景技术：
从物体散射的光包含振幅和相位信息。这种振幅和相位信息可以用一种叫做全息术的干涉技术在感光板或胶片上捕获。感光板或胶片上捕获的图案称为全息记录或全息图。全息图可用于形成物体的重建。全息图形成的物体的重建被称为全息重建。全息重建可以通过用合适的光照射全息图来形成。
计算机生成全息术可以数值模拟通过光干涉形成全息图的过程。可以使用数学变换来计算计算机生成全息图。数学变换可以基于傅里叶变换。数学变换可以是傅里叶变换或菲涅耳变换。通过对目标图像执行傅里叶变换计算的全息图可以被称为傅里叶变换全息图或傅里叶全息图。傅里叶全息图可以被认为是目标图像的傅里叶域或频域表示。使用菲涅耳变换计算的全息图可以称为菲涅耳全息图。
计算机生成全息图可以包括全息图值的阵列，该全息图值可以被称为全息图像素。每个全息图值可以是相位和/或振幅值。每个全息图值可以被约束(例如量化)为多个允许值之一。计算机生成全息图可以显示在显示设备上。允许值的选择可以基于将用于显示全息图的显示设备。多个允许值可以基于显示设备的能力。
显示设备可以是包括像素阵列的空间光调制器。空间光调制器可以是液晶设备，在这种情况下，每个像素是具有双折射的可单独寻址的液晶单元。每个像素可以根据相应的全息像素来调制光的振幅和/或相位。每个像素包括光调制元件和被布置成驱动光调制元件的像素电路。全息图可以被认为是光调制图案。
全息重建可以通过用合适的光照射显示的全息图来形成。入射光的振幅和/或相位根据光调制图案被进行空间调制。光被空间光调制器衍射。从显示设备发出的复合光图案在重放平面干涉，以形成对应于目标图像的全息重建。如果全息图是傅里叶全息图，则重放平面在远场中(即离显示设备无限远)，但是可以使用透镜将重放平面带入近场中。为了方便起见，全息重建本身可以被称为图像。全息重建被投影到远离显示设备的平面上，因此该技术被称为全息投影。可以使用全息投影仪形成平视显示器，但是许多其他设备，例如头戴式显示器，可以使用根据本公开的全息投影仪作为图像源。
本公开涉及一种用于提高全息投影质量的技术。
技术实现要素：
根据本公开的驱动器可以用作显示图像(即全息重建)的系统的一部分，该图像是静态的或者随时间可变的，例如实时可变的。根据本公开的全息图包括多个像素，例如，[x×y]像素。如果全息图比显示设备具有更少的像素，全息图可以平铺在显示设备上。平铺使用显示设备的额外像素来显示全息图的至少一部分的重复。平铺使得在显示设备上显示平铺图案，其中平铺图案包括多个平铺块。平铺块是全息图中连续、相接的像素组。多个平铺块可以包括全息图的任何数量的完整平铺块和任何数量的部分平铺块。完整平铺块是完整的全息图。也就是说，完整平铺块是全息图的完整、相接的[x×y]像素组。部分平铺块是全息图的子集。也就是说，部分平铺块是全息图的连续、相接的[x×y]像素的子集。在一些实施例中，平铺用于填充显示设备。也就是说，平铺可以使用显示设备的所有像素来显示全息图。在一些实施例中，所有平铺块都是四边形的。在一些实施例中，所有平铺块都是矩形的。根据需要，每个平铺块可以具有任何大小或纵横比。
在显示设备上重复的全息图在这里被称为输入全息图，因为它是用于平铺过程的源。在显示设备上显示的具有平铺块的所得图案在这里被称为输出全息图。输入全息图是输入计算机生成全息图，输出全息图是输出计算机生成全息图。显示在显示设备上的输出全息图也可以被称为光调制图案。总之，本公开涉及一种用于空间光调制器的驱动器，该空间光调制器使用动态变化的平铺方案从输入全息图形成输出全息图。
根据本公开的每个平铺方案源自唯一的像素映射方案，该方案将输入全息图的邻接像素组映射到输出全息图的像素上，使得输出全息图的所有像素对应于输入全息图的一个像素。因此，应当理解，输入全息图的一些像素对应于输出全息图的多个像素。可以说，在输入全息图的至少一些像素和输出全息图的多个像素之间存在一对多的相关性。平铺块的数量可以是二到十二个，例如四到十个。每个平铺块包括至少两个像素。每个平铺方案可以从多个平铺方案中选择，例如二到十二个平铺方案。在一些实施例中，每个平铺方案选自包括四个或八个不同平铺方案的组。在一些实施例中，每个平铺方案形成包括至少一个完整平铺块的输出全息图。在一些实施例中，第一平铺方案形成包括四个完整平铺块的输出全息图，第二、第三和第四平铺方案包括一个完整平铺块和八个部分平铺块。然而，本公开延伸到形成输出全息图，该输出全息图包括可以配合在显示设备上的完整平铺块和部分平铺块的任何组合。
提供了一种用于空间光调制器的驱动器。空间光调制器包括[m×n]个像素。驱动器被布置成接收每个都包括[x×y]个像素的输入全息图。在这里公开的一些示例中，m≥x并且n≥y。在本文公开的其他示例中，m＞x和/或n＞y。驱动器还被布置成通过使用平铺方案将每个输入全息图平铺在空间光调制器的像素上以形成对应于每个输入全息图的输出全息图，来驱动空间光调制器在其上显示输出全息图，每个输出全息图包括[m×n]个像素。驱动器被布置成使用第一平铺方案来显示第一输出全息图，并且使用第二平铺方案来显示第二输出全息图。每个输出全息图包括输入全息图的多个平铺块。每个平铺方案定义了每个平铺块的大小和每个平铺块在空间光调制器像素上的位置。
通过平铺形成的每个输出全息图是包括输入全息图的多个平铺块的连续光调制图案，其中平铺块是输入全息图的连续、相接的像素组。平铺方案是像素映射方案，包括全息图的至少一些像素和空间光调制器的像素之间的一对多映射。
同样，提供了一种驱动包括[m×n]个像素的空间光调制器的方法。该方法包括接收包括[x×y]个像素的输入全息图的第一步骤，其中m≥x并且n≥y。该方法包括第二步骤，其中通过在第一时间使用第一平铺方案将输入全息图平铺在空间光调制器的像素上，来显示包括[m×n]个像素的第一输出全息图。该方法包括第三步骤，其中通过在第二时间使用第二平铺方案将输入全息图平铺在空间光调制器的像素上来显示包括[m×n]个像素的第二输出全息图。第一步骤可以在第二步骤之前执行，第二步骤可以在第三步骤之前执行。
每个输入全息图中的像素总数少于空间光调制器上表示的相应输出全息图中的像素数。例如，输入全息图可以在两个维度上都小于输出全息图(m＞x并且n＞y)，或者仅在一个维度上小于输出全息图(m＞x，n＝y或m＝x，n＞y)。这种布置能够将输入全息图的每个部分映射到输出全息图中的某个位置。在实施例中，整个输入全息图被映射为一组连续的像素。在其他示例中，输入全息图在映射中被分成多组像素，使得输出全息图不包括整个输入全息图的连续表示。也就是说，在这些其他示例中，输出全息图不包括完整平铺块。在实施例中，每个输出全息图包括至少一个完整平铺块，并且可选地包括多个部分平铺块。使用动态/可变平铺方案将接收的输入全息图的像素映射到至少一个相应的较大输出全息图上。原始输入全息图的至少一个像素在输出全息图中重复。例如，空间光调制器的像素阵列可以被分成多个离散区域，每个区域被布置成表示输入全息图的至少一个子集。因此，输入全息图的一部分(即全息图像素的连续子集)可以在那些原本未使用的空间光调制器像素上重复。
根据本公开的用于空间光调制器的驱动器提高了全息重建的图像质量。特别地，它被发现消除或平均了在全息重建中将其自身表现为噪声或伪影的光学效果。
在一些实施例中，输出全息图的每个平铺块包括输入全息图的至少一个边缘或边界。更具体地，每个平铺块包括全息图的像素的至少一个边缘行或像素的至少一个边缘列。输入全息图的边缘行/列是输入全息图的像素的四个边界行和列之一。更具体地，边缘行/列是输入全息图的像素的第一行/列或最后一行/列。像素的第一行/列与像素的最后一行/列相对。例如，行1与行x相对，列1与列y相对。在一些实施例中，平铺是连续的，这意味着输出全息图的所有相邻平铺块对将输入全息图的一个边缘连接到输入全息图的相对边缘。例如，相邻的平铺块可以将列y连接到列1或者将行x连接到行1。可以说，所有相邻的平铺块或者将输入全息图的最后一列像素连接到输入全息图的第一列像素，或者将输入全息图的最后一行像素连接到输入全息图的第一行像素。
值得注意的是，发明人已经发现，如果相邻平铺块在输入全息图的像素值的重复序列中引入中间序列不连续性，则在全息重建中观察到伪影，这对图像的感知质量是有害的。当输出全息图的每行和每列不破坏输入全息图的像素值的序列时，这些伪影被最小化。也就是说，输出全息图的每一行和每一列是输入全息图的相应行或列的连续重复。平铺图案的平铺块将重复图案边缘对边缘地连续连接。输出全息图不包括像素值序列中包含跳跃的任何行或列或省略序列中的像素值的任何行或列。可以说，这些实施例形成全息图图案的连续重复。
进一步值得注意的是，发明人还发现，当输出全息图包括至少一个完整平铺块并且输入全息图的每个像素在像素值阵列的两个方向上在输出全息图中重复至少一次时，所公开的用于提高全息重建质量的技术特别有效。后者可以在如上所述输出全息图是全息图图案的连续重复时实现，并且m≥2x且n≥2y。为了避免任何疑问，在一些实施例中，每个输出全息图包括至少一个完整平铺块，其中完整平铺块是输入全息图的完整、相接的[x×y]像素组。在一些实施例中，每个输出全息图附加地或替代地包括多个部分平铺块，其中部分平铺块是输入全息图的像素的相接子集。
驱动器可以被布置成接收第一输入全息图。驱动器可以被布置成在第一时间使用第一平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第一输出全息图。驱动器还可以被布置成在第二时间使用第二平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第二输出全息图。
同样，驱动空间光调制器的方法还可以包括第四步骤，即，在第一时间使用第一平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第一输出全息图。该方法还可以包括第五步骤，即，在第二时间，使用第二平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第二输出全息图。
这种布置便于计算或形成多个输出全息图，每个输出全息图对应于单个接收的输入全息图。接收的输入全息图可以是全息图序列中的一个全息图，并且可以为每个输入全息图生成多个输出全息图。例如，在处理下一个输入全息图之前，可以显示对应于同一输入全息图的多个输出全息图。每个输出全息图的图像内容当然是相同的，但是在该实施例中，可以使用不同的平铺方案来形成输出全息图。每个输入全息图的输出全息图的数量可以由例如硬件的速度、显示设备的刷新率或传入图像或对应于图像的计算机生成全息图的帧速率来确定。在示例中，每个输入全息图用于形成3或6个不同平铺的输出全息图。不同的平铺方案可以与单个输入全息图一起使用，这使得能够对同一图像进行多次全息重建。为了避免疑问，使用一种平铺方案从输入全息图形成输出全息图，并且当适当照射时，输出全息图产生全息重建。发现使用具有相同输入全息图的不同平铺方案来显示相应的输出全息图序列可以提高图像质量。可选地，平铺方案可以每个输入全息图改变2至6次，尽管平铺方案可以每个输入全息图改变2至12次。也就是说，对于每个输入全息图，可以连续显示2至6个或者甚至2至12个不同的输出全息图，其中每个输出全息图是相同输入全息图的不同平铺版本。平铺方案的任何其他变化率都是可能的。例如，平铺方案的变化率可以等于或大于例如120赫兹(hz)、180hz、240hz、300hz、360hz、420hz或480赫兹(hz)，以实现这种效果。例如，平铺方案可以每隔一个输出全息图改变，或者根据任何可想到的方案改变。
驱动器可以被布置成接收输入全息图序列，例如输入全息图的视频速率序列。驱动器可以被布置成，对于每个输入全息图，在下一个输入全息图被接收之前，通过使用多个不同的平铺方案将输入全息图平铺到空间光调制器的像素上，来连续显示多个相应的输出全息图。
同样，驱动空间光调制器的方法还可以包括接收输入全息图的视频速率序列，并且对于每个输入全息图，在下一个输入全息图被接收之前，通过使用多个不同的平铺方案将输入全息图平铺到空间光调制器的像素上，连续显示多个相应的输出全息图。
驱动器可以被布置成接收第一输入全息图，并且在第一时间使用第一平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第一输出全息图。驱动器还可以被布置成接收第二输入全息图，并且在第二时间使用第二平铺方案将第二输入全息图平铺到空间光调制器的像素上，以显示第二输出全息图。
同样，驱动空间光调制器的方法可以包括接收第一输入全息图。该方法可以包括在第一时间使用第一平铺方案将第一输入全息图平铺到空间光调制器的像素上，以显示第一输出全息图。该方法可以包括接收第二输入全息图。该方法可以包括在第二时间使用第二平铺方案将第二输入全息图平铺到空间光调制器的像素上，以显示第二输出全息图。
在实施例中，每个输出全息图对应于不同的输入全息图，其可以是例如帧序列中的一帧。因此，平铺方案随着每个新的输入全息图而改变，而不是每个输入全息图改变多次。例如，在这些实施例中，平铺方案可以每个输入全息图或每隔一个输入全息图改变。例如，平铺方案可以在60hz、30hz或15hz下改变。在其他实施例中，平铺方案是连续变化的，并且没有两个连续输出全息图使用相同的平铺方案。可以说，在实施例中，平铺方案随着每个显示事件而改变。
驱动器可以被布置成接收输入全息图的视频速率序列。驱动器还可以被布置成通过将每个输入全息图连续平铺到空间光调制器的像素上并连续改变平铺方案来显示输出全息图的相应视频速率序列。
在一些实施例中，每个输入全息图包括空间频率的空间分布。包括空间频率的空间分布的每个输入全息图是傅里叶或菲涅耳全息图。
值得注意的是，动态平铺块移位有效地在显示设备上到处移动空间频率。也就是说，它改变了空间频率的空间分布。这提高了图像质量，因为它具有消除投影系统缺陷的效果。例如，在实践中，用于照射全息图的光将在强度上具有一些不均匀性，并且在波前上具有一些相位变化。如果入射光的强度不是完全均匀的，不同的空间频率将以不同的强度照射。同样，入射波前相位的微小变化会在显示设备上引入相位误差分布。此外，显示设备本身可能是不完美的，并且可能存在与像素阵列相关联的误差分布。这些问题以及其他类似问题会降低图像质量。尤其是，发明人已经发现，这些问题导致形成图像中的图像斑点(或图像像素)的不均匀性。发现当使用傅里叶或菲涅耳全息图的动态重新平铺时，图像斑点的大小、形状和强度在重放场中更均匀。更均匀的图像斑点允许在不引入像素串扰问题的情况下增加填充密度，在像素串扰问题中，相邻的图像斑点会干扰图像并将噪声引入图像。因此，可以在不增加噪声的情况下提供更高分辨率的图像。
还提供了一种全息投影仪，包括驱动器、空间光调制器和光源。光源被布置成用相干光照射在空间光调制器上显示的每个输出全息图，使得对应于每个输入全息图的全息重建形成在重放平面上。
同样，提供了一种全息投影方法，包括驱动如本文所述的空间光调制器，并用相干光照射每个输出全息图，以在对应于每个输入全息图的重放平面上形成至少一个全息重建。
在一些实施例中，全息重建形成在诸如屏幕的光接收特征或光接收表面上，并且由空间光调制器空间调制的光是来自诸如激光器的相干光源的相干光。在这些实施例中，全息重建将显示激光散斑。通过使用不同的第一和第二平铺方案，全息重建得到改善。改变平铺方案在一系列输出计算机生成全息图上使感知的散斑图案平均化。尤其是，全息图在slm上的平移使得重放图像或全息重建中发生相移。人眼无法检测相位，所以观察者不会注意到这种相移。然而，这种相移改变了由图像投影到其上的屏幕引起的干涉图案，从而降低了重放图像中散斑的感知效果。本质上，动态地重新配置平铺图案或平铺方案将伪随机性引入全息重建，这模糊了散斑，从而减少了重建或重放图像中的散斑问题。
在一些实施例中，提供了一种方法，该方法包括计算全息图的步骤，该全息图包括比显示设备少的像素，以便于动态重新平铺。该方法可以包括在计算对应于图像的全息图之前减少图像的像素数，使得全息图像素数少于显示设备像素数。该方法可以包括在全息图计算之前缩小或减小图像的分辨率(像素数)，使得在减小之后全息图像素数小于显示设备的像素数。该方法可以包括使用显示设备的所有像素来显示光调制图案，该光调制图案包括缩小的全息图的至少一个完整平铺块和至少一个部分平铺块。
在本文描述的一些实施例中，驱动器可替代地被称为平铺引擎。
提供了一种全息投影仪，其包括：平铺引擎，其被布置成接收包括[x×y]个像素的输入计算机生成全息图，并形成包括[m×n]个像素的相应输出计算机生成全息图，以输出到空间光调制器，其中mn＞xy，这是通过根据平铺方案将每个接收的计算机生成全息图的像素映射到至少一个相应输出计算机生成全息图的像素上；以及空间光调制器，其被布置成接收并表示来自平铺引擎的输出计算机生成全息图的序列，并输出空间调制光，用于根据空间光调制器上表示的每个计算机生成全息图形成全息重建，其中平铺引擎还被布置成使用第一平铺方案将像素映射到包括[m×n]个像素的第一输出计算机生成全息图上，以及使用第二平铺方案将像素映射到包括[m×n]个像素的第二输出计算机生成全息图上。
提供了一种用于全息投影仪的驱动器或平铺引擎。驱动器或平铺引擎被布置成接收包括[x×y]个像素的输入计算机生成全息图，并形成包括[m×n]个像素的相应输出计算机生成全息图，其中mn＞xy，这是通过根据平铺方案将每个接收的计算机生成全息图的像素映射到至少一个相应输出计算机生成全息图的像素上。驱动器或平铺引擎还被布置成使用第一平铺方案将像素映射到包括[m×n]个像素的第一输出计算机生成全息图上，并且使用第二平铺方案将像素映射到包括[m×n]个像素的第二输出计算机生成全息图上。
提供了一种全息投影仪，其包括平铺引擎和光源。平铺引擎被布置成接收包括[x×y]个像素的输入全息图，并在空间光调制器上显示包括[m×n]个像素的相应输出全息图，其中m≥2x并且n≥2y，这是通过将输入全息图平铺在空间光调制器的像素上以在其上形成输出全息图。光源被布置成照射输出全息图以形成空间调制光，用于形成对应于输出全息图的全息重建。平铺引擎还被布置成使用第一平铺方案来显示包括[m×n]个像素的第一输出计算机生成全息图，并且使用第二平铺方案来显示包括[m×n]个像素的第二输出计算机生成全息图。
平铺引擎可以被布置成接收包括[x×y]个像素的第一输入全息图，并且通过根据第一平铺方案将第一输入全息图的像素映射到第一输出全息图的像素上，并且根据第二平铺方案将第一全息图的像素映射到第二输出全息图的像素上，来形成包括[m×n]个像素的第一输出全息图和包括[m×n]个像素的第二输出全息图。此外，平铺引擎可以被布置成通过根据相应的多个不同平铺方案将第一输入全息图的像素映射到多个输出全息图的像素上，来形成包括来自第一输入全息图的[m×n]个像素的多个输出全息图。
平铺引擎可以被布置成：接收包括[x×y]个像素的第一全息图，并通过根据第一平铺方案将第一全息图的像素映射到第一输出全息图的像素上来形成包括[m×n]个像素的第一输出全息图；以及接收包括[x×y]个像素的第二输入全息图，并通过根据第二平铺方案将第二输入全息图的像素映射到第二输出全息图的像素上来形成包括[m×n]个像素的第二输出全息图。此外，平铺引擎可以被布置成通过根据对应的多个不同平铺方案将每个输入全息图的像素映射到多个对应的输出全息图的像素上来形成对应于每个输入全息图的包括[m×n]个像素的多个输出全息图。
在一些布置中，全息投影仪被配置成形成彩色全息重建。在一些示例中，这是通过称为空间分离颜色或“ssc”的方法来实现的，其中通过使用相应的多个单色光源和相应的多个单色全息图来叠加多个不同颜色(例如红色、绿色和蓝色)的全息重建。每个相应的全息图可以在相应的空间光调制器或一个公共空间光调制器的相应多个像素上表示。因此，可以理解，在这些示例中，使用了多个光通道。因为颜色通道是独立的，所以每个光通道可以使用在此描述的相应的多个不同平铺方案。因此，对于每个颜色通道，多个不同的平铺方案可以相同或不同。
可以使用一种或多种不同的平铺方案来形成在每个颜色通道的相应空间光调制器上表示的输出计算机生成全息图。这样，可以使用第一、第二和第三平铺方案形成单帧彩色全息重建，该第一、第二和第三平铺方案彼此不同或者它们中的一个或多个可以相同。
彩色全息重建也可以使用被称为帧顺序颜色或“fsc”的方法来实现。在一个示例fsc系统中，使用三种激光(红色、绿色和蓝色)，并且每种激光在单个slm上连续发射，以产生视频的每个帧。这些颜色以足够快的速度循环(红色、绿色、蓝色、红色、绿色、蓝色等)，使得人类观察者从由三种激光形成的图像的组合中看到多色图像。因此，每个全息图都是特定颜色的。例如，在每秒25帧的视频中，第一帧将通过发射红色激光1/75秒产生，然后绿色激光将发射1/75秒，最后蓝色激光将发射1/75秒。然后产生下一帧，从红色激光开始，依此类推。fsc方法的优点是整个slm用于每种颜色。这意味着所产生的三幅彩色图像的质量不会受到影响，因为slm上的所有像素都用于每幅彩色图像。
在一些实施例中，平铺方案逐行将输入全息图平铺到显示设备上。与逐平铺块乃至逐像素地形成输出计算机生成全息图相比，以这种方式形成输出计算机生成全息图可能更快，因为长的数据序列可以按照它们在存储器中存储的顺序被映射。这可以减少平铺引擎的计算负荷。
全息投影仪还可以包括全息引擎，该全息引擎被配置成向平铺引擎提供输入全息图。处理器可以被配置成从目标图像计算输入全息图。该计算可以使用这里描述的方法实时进行。在一些实施例中，输入全息图的生成包括首先缩小目标图像，使得输入全息图的像素数小于初始目标图像的像素数并且小于显示设备的像素数。替代地，处理器可以被配置成从先前的生成全息图的储存库中检索输入全息图，例如，存储在计算机可读介质或其他存储设备上的先前的生成全息图。
在一些示例中，空间光调制器对接收的光应用纯相位调制。空间光调制器因此可以是纯相位空间光调制器。这可能是有利的，因为调制振幅不会损失光能。因此，提供了一种高效的全息投影系统。然而，本公开同样可以在纯振幅空间光调制器或振幅和相位(复合)空间光调制器上实现。可以理解，全息图将相应地是纯相位、纯振幅或完全复合的。
术语“全息图”用于指包含关于物体的振幅和/或相位信息的记录。在本公开中，输入或接收的全息图是全息图。整个输出、计算机生成全息图也是全息图——术语“全息图”包括输入全息图的完整平铺块和附加部分平铺块的组合。术语“全息重建”用于指通过照射全息图形成的物体的光学重建。术语“重放平面”用于指空间中形成全息重建的平面。术语“图像”、“图像区域”和“重放场”是指由形成全息重建的光照射的重放平面的区域。在一些实施例中，“图像”包括可以被称为“图像像素”的图像斑点。
术语“编码”、“写入”或“寻址”用于描述向slm的多个像素提供相应的多个控制值的过程，这些控制值分别确定每个像素的调制级别。可以说，响应于接收到多个控制值，slm的像素被配置成“显示”或“表示”光调制分布或图案。
可以参考相位值、相位分量、相位信息，或者简单地说，计算机生成全息图或空间光调制器的像素相位，作为“相位延迟”的简写。也就是说，所描述的任何相位值实际上都是代表该像素提供的相位延迟量的数字(例如，在0到2π的范围内)。例如，被描述为具有π/2相位值的空间光调制器的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可操作于多个可能的调制值(例如相位延迟值)之一。术语“灰度级”可以用来指多个可用的调制级别。例如，为了方便起见，术语“灰度级”可以用来指纯相位调制器中的多个可用相位级，即使不同的相位级没有提供不同的灰度。为了方便起见，术语“灰度级”也可以用来指复合调制器中多个可用的复合调制级。
全息图因此包括灰度级阵列，即光调制值阵列，例如相位延迟值阵列或复合调制值阵列。全息图也被认为是衍射图案，因为它是当显示在空间光调制器上并被波长与空间光调制器的像素间距相当、通常小于空间光调制器的像素间距的光照射时引起衍射的图案。这里提到将全息图与其他衍射图案相结合，例如用作透镜或光栅的衍射图案。例如，用作光栅的衍射图案可以与全息图组合，以平移重放平面上的重放场，或者用作透镜的衍射图案可以与全息图组合，以将全息重建聚焦在近场中的重放平面上。
术语“光”在这里以其最广泛的意义使用。一些实施例同样适用于可见光、红外光和紫外光及其任何组合。
本公开仅通过示例的方式提及或描述了1d和2d全息重建。全息重建替代地可以是3d全息重建。也就是说，在本公开的一些示例中，每个计算机生成全息图形成3d全息重建。
附图说明
参考以下附图仅通过示例的方式描述具体实施例：
图1是示出在屏幕上产生全息重建的反射式slm的示意图；
图2a示出了示例gerchberg-saxton算法的第一次迭代；
图2b示出了示例gerchberg-saxton算法的第二次和后续迭代；
图2c示出了示例的替代的第二次和后续迭代；
图3是反射式lcosslm的示意图；
图4a示出了输入图像的示例；
图4b示出了图4a的输入图像的像素的示例，其中像素被布置成完整和部分平铺块；
图5示出了全息图生成的示例；
图6示出了全息投影仪；
图7a至图7c示出了平铺布置序列的示例；
图8a至图8d示出了平铺布置的替代序列；
图9示出了平铺布置；
图10a至图10f示出了图9所示平铺布置的示例顺序布置；和
图11a至图11f示出了替代平铺布置。
在所有附图中，相同的附图标记将用于指代相同或相似的部件。
具体实施方式
本发明不限于下面描述的实施例，而是延伸到所附权利要求的全部范围。也就是说，本发明可以以不同的形式实施，并且不应该被解释为限于所描述的实施例，这些实施例是为了说明的目的而阐述的。
被描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应当被解释为包括结构彼此接触的情况，并且此外包括第三结构设置在它们之间的情况。
在描述时间关系时，例如，当事件的时间顺序被描述为“之后”、“后续”、“下一个”、“之前”等时，除非另有说明，否则本公开应当被认为包括连续和非连续事件。例如，除非使用“就在”、“立即”或“直接”等措辞，否则描述应理解为包括不连续的情况。
虽然术语“第一”、“第二”等可以在此用于描述各种元素，这些元素不受这些术语的限制。这些术语仅用于区分一种元素和另一种元素。例如，在不脱离所附权利要求的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
不同实施例的特征可以部分或全部彼此耦合或组合，并且可以彼此不同地相互操作。一些实施例可以彼此独立地执行，或者可以以相互依赖的关系一起执行。
尽管不同的实施例和实施例组可以在随后的详细描述中单独公开，但是任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征组合相结合。也就是说，设想了本公开中公开的特征的所有可能的组合和置换。
光学配置
图1示出了一个实施例，其中计算机生成全息图被编码在单个空间光调制器上。计算机生成全息图是用于重建的物体的傅里叶变换。因此，可以说全息图是物体的傅里叶域或频域或谱域表示。在该实施例中，空间光调制器是反射型硅基液晶“lcos”设备。全息图被编码在空间光调制器上，并且全息重建形成于重放场上，例如如屏幕或漫射体的光接收表面上。
光源110，例如激光器或激光二极管，被设置成通过准直透镜111照射slm140。准直透镜使得光的大致平面波前入射到slm上。在图1中，波前的方向是偏离法线的(例如，偏离与透明层平面真正正交两到三度)。然而，在其他实施例中，总体上平面的波前以垂直入射提供，并且分束器布置用于分离输入和输出光路。在图1所示的实施例中，该布置使得来自光源的光从slm的镜射后表面反射，并与光调制层相互作用以形成出射波前112。出射波前112被应用于包括傅里叶变换透镜120的光学器件，其焦点在屏幕125上。更具体地，傅里叶变换透镜120接收来自slm140的调制光束，并执行频率空间变换以在屏幕125上产生全息重建。
值得注意的是，在这种全息术中，全息图的每个像素都有助于整个重建。重放场中的特定点(或图像像素)和特定光调制元件(或全息像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在重放场中。
在这些实施例中，全息重建在空间中的位置由傅里叶变换透镜的屈光(聚焦)度决定。在图1所示的实施例中，傅里叶变换透镜是物理透镜。即，傅里叶变换透镜是光学傅里叶变换透镜，并且傅里叶变换是光学执行的。任何透镜都可以充当傅里叶变换透镜，但是透镜的性能会限制其执行傅里叶变换的精度。本领域技术人员理解如何使用透镜来执行光学傅里叶变换。
全息图计算
在一些实施例中，计算机生成全息图是傅里叶变换全息图，或者简单地是傅里叶全息图或基于傅里叶的全息图，其中通过利用正透镜的傅里叶变换特性在远场中重建图像。傅里叶全息图是通过将重放平面中的所需光场傅里叶变换回透镜平面来计算的。可以使用傅里叶变换来计算计算机生成的傅里叶全息图。
傅里叶变换全息图可以使用诸如gerchberg-saxton算法的算法来计算。此外，gerchberg-saxton算法可用于从空间域中的纯振幅信息(例如照片)计算傅里叶域中的全息图(即傅里叶变换全息图)。从空间域中的纯振幅信息中有效地“检索”与物体相关的相位信息。在一些实施例中，使用gerchberg-saxton算法或其变体从纯振幅信息计算计算机生成全息图。
gerchbergsaxton算法考虑了分别在平面a和平面b中的光束的强度截面ia(x，y)和ib(x，y)是已知的并且ia(x，y)和ib(x，y)通过单个傅里叶变换相关的情况。对于给定的强度截面，找到了分别在平面a和平面b中的相位分布ψa(x，y)和ψb(x，y)的近似值。gerchberg-saxton算法通过遵循一个迭代过程找到这个问题的解决方案。更具体地说，gerchberg-saxton算法迭代地应用空间和频谱约束，同时在空间域和傅里叶(频谱或频率)域之间重复传输代表ia(x，y)和ib(x，y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中相应的计算机生成全息图。该算法是收敛的，并且被布置成产生表示输入图像的全息图。全息图可以是纯振幅全息图、纯相位全息图或完全复合的全息图。
在一些实施例中，使用基于gerchberg-saxton算法的算法来计算纯相位全息图，例如在英国专利2,498,170或2,501,112中描述的算法，在此通过引用将其全部并入。然而，这里公开的实施例仅通过示例的方式描述了计算纯相位全息图。在这些实施例中，gerchberg-saxton算法检索数据集的傅里叶变换的相位信息ψ[u，v]，该相位信息产生已知的振幅信息t[x，y]，其中振幅信息t[x，y]代表目标图像(例如照片)。由于幅度和相位在傅里叶变换中本质上是结合在一起的，所以变换后的幅度和相位包含关于计算数据集的精度的有用信息。因此，可以迭代地使用该算法，同时反馈幅度和相位信息。然而，在这些实施例中，只有相位信息ψ[u，v]被用作全息图，以在图像平面上形成代表目标图像的全息图。全息图是相位值的数据集(例如2d阵列)。
在其他实施例中，基于gerchberg-saxton算法的算法被用于计算完全复合全息图。完全复合全息图是具有幅度分量和相位分量的全息图。全息图是包括复合数据值阵列的数据集(例如2d阵列)，其中每个复合数据值包括幅度分量和相位分量。
在一些实施例中，该算法处理复合数据，并且傅里叶变换是复合傅里叶变换。复合数据可以被认为包括(i)实数分量和虚数分量，或者(ii)幅度分量和相位分量。在一些实施例中，复合数据的两个分量在算法的不同阶段被不同地处理。
图2a示出了根据一些实施例的用于计算纯相位全息图的算法的第一次迭代。算法的输入是包括像素或数据值的2d阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可以被认为是纯幅度或纯振幅或纯强度分布。这种输入图像210的一个示例是照片或包括帧的时间序列的一个视频帧。该算法的第一次迭代从数据形成步骤202a开始，包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复合数据集，其中该集合的每个数据元素包括幅度和相位。可以说，起始复合数据集代表空间域中的输入图像。
第一处理块250接收起始复合数据集，并执行复合傅里叶变换以形成傅里叶变换的复合数据集。第二处理块253接收傅里叶变换的复合数据集并输出全息图280a。在一些实施例中，全息图280a是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280a。每个相位值根据可以在将用于“显示”纯相位全息图的空间光调制器的像素上表示的相位级来量化。例如，如果空间光调制器的每个像素提供256个不同的相位级，全息图的每个相位值被量化成256个可能相位级中的一个相位级。全息图280a是代表输入图像的纯相位傅里叶全息图。在其他实施例中，全息图280a是完全复合的全息图，包括从接收的傅里叶变换的复合数据集导出的复合数据值阵列(每个包括振幅分量和相位分量)。在一些实施例中，第二处理块253将每个复合数据值约束为多个允许的复合调制级别之一，以形成全息图280a。约束步骤可以包括将每个复合数据值设置为复合平面中最接近的允许复合调制级别。可以说全息图280a代表频谱域或傅里叶域或频率域中的输入图像。在一些实施例中，算法在这一点上停止。
然而，在其他实施例中，该算法继续，如图2a中的虚线箭头所示。换句话说，图2a中虚线箭头后面的步骤是可选的(即，不是所有实施例都必须的)。
第三处理块256从第二处理块253接收修改后的复合数据集，并执行傅里叶逆变换以形成傅里叶逆变换的复合数据集。可以说，傅里叶逆变换的复合数据集代表空间域中的输入图像。
第四处理块259接收傅里叶逆变换的复合数据集，并提取幅度值分布211a和相位值分布213a。可选地，第四处理块259评估幅度值211a的分布。具体而言，第四处理块259可以将傅里叶逆变换的复合数据集的幅度值分布211a与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211a分布和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280a是可接受的。也就是说，如果幅度值211a分布和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280a足够精确地代表输入图像210。在一些实施例中，为了比较的目的，忽略傅里叶逆变换的复合数据集的相位值分布213a。应当理解，可以采用任何数量的不同方法来比较幅度值分布211a和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，全息图280a被认为是可接受的。如果第四处理块259确定全息图280a不可接受，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，所执行的算法的迭代次数是预定的或预设的或用户定义的。
图2b代表算法的第二次迭代和算法的任何进一步迭代。前一次迭代的相位值分布213a通过算法的处理块被反馈。拒绝幅度值分布211a，而优先考虑输入图像210的幅度值分布。在第一次迭代中，数据形成步骤202a通过将输入图像210的幅度值分布与随机相位分布230相结合来形成第一复合数据集。然而，在第二次和随后的迭代中，数据形成步骤202b包括通过将(i)来自算法的前一次迭代的相位值分布213a与(ii)输入图像210的幅度值分布相结合来形成复合数据集。
由图2b的数据形成步骤202b形成的复合数据集然后以参考图2a描述的相同方式被处理，以形成第二迭代全息图280b。因此，这里不再重复对该过程的解释。当已经计算出第二迭代全息图280b时，该算法可以停止。然而，可以执行算法的任何数量的进一步迭代。应当理解，只有当需要第四处理块259或者需要进一步迭代时，才需要第三处理块256。输出全息图280b通常随着每次迭代而变得更好。然而，在实践中，通常达到一个点，在该点上没有观察到可测量的改进，或者执行进一步迭代的积极益处被额外处理时间的负面影响抵消。因此，该算法被描述为迭代和收敛的。
图2c表示第二次和后续迭代的替代实施例。前一次迭代的相位值分布213a通过算法的处理块被反馈。拒绝幅度值分布211a，而优先考虑幅度值的替代分布。在该替代实施例中，从前一次迭代的幅度值分布211中导出幅度值的替代分布。具体地，处理块258从前一次迭代的幅度值分布211中减去输入图像210的幅度值分布，将该差值缩放增益因子α，并从输入图像210中减去缩放后的差值。这由以下等式数学表示，其中下标文本和数字表示迭代次数：
rn 1[x，y]＝f′{exp(iψn[u，v])}
ψn[u，v]＝∠f{η·exp(i∠rn[x，y])}
η＝t[x，y]-α(|rn[x，y]|-t[x，y])
其中：
f’是傅里叶逆变换；
f是正向傅里叶变换；
r[x，y]是由第三处理块256输出的复合数据集；
t[x，y]是输入或目标图像；
∠是相位分量；
ψ是纯相位全息图280b；
η是新的幅度值分布211b；和
α是增益因子。
增益因子α可以是固定的或可变的。在一些实施例中，增益因子α是基于传入目标图像数据的大小和速率来确定的。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
图2c的实施例在所有其他方面与图2a和图2b的实施例相同。可以说，纯相位全息图ψ(u，v)包括频域或傅里叶域中的相位分布。
在一些实施例中，使用空间光调制器来执行傅里叶变换。具体地，将全息图数据与提供光焦度的第二数据相结合。也就是说，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据模拟物理透镜，也就是说，它以与相应物理光学器件相同的方式将光聚焦。因此，透镜数据提供光焦度或聚焦度。在这些实施例中，可以省略图1的物理傅里叶变换透镜120。在本领域中，如何计算代表透镜的数据是已知的。代表透镜的数据可以被称为软件透镜。例如，纯相位透镜可以通过计算由于其折射率和空间变化的光程长度而由透镜的每个点引起的相位延迟来形成。例如，凸透镜中心的光程长度大于透镜边缘的光程长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成全息术领域中，还已知如何将代表透镜的数据与全息图相结合，使得全息图的傅里叶变换可以在不需要物理傅里叶透镜的情况下执行。在一些实施例中，透镜化数据通过简单的加法如简单的矢量加法与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用来执行傅里叶变换。替代地，在其他实施例中，傅里叶变换透镜被完全省略，使得全息重建发生在远场中。在进一步的实施例中，全息图可以以相同的方式与光栅数据结合，光栅数据即是被布置来执行光栅功能(例如光束控制)的数据。同样，我们知道如何计算这些数据。例如，可以通过为闪耀光栅表面上每个点引起的相位延迟建模来形成纯相位光栅。纯振幅光栅可以简单地与纯振幅全息图叠加，以提供全息重建的角度控制。
在一些实施例中，傅里叶变换由物理傅里叶变换透镜和软件透镜共同执行。也就是说，有助于傅里叶变换的一些光焦度由软件透镜提供，而有助于傅里叶变换的其余光焦度由一个或多个物理光学器件提供。
在一些实施例中，提供了实时引擎，该实时引擎被布置成接收图像数据并使用该算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图是预先计算的，存储在计算机存储器中，并且根据需要被调用以显示在slm上。也就是说，在一些实施例中，提供了预定全息图的储存库。
实施例仅作为示例涉及傅里叶全息术和gerchberg-saxton型算法。本公开同样适用于菲涅耳全息术和菲涅耳全息图，它们可以通过类似的方法计算。本公开也适用于通过其他技术计算的全息图，例如基于点云方法的全息图。
光调制
空间光调制器可用于显示包括计算机生成全息图的光调制(或衍射)图案。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是完全复合的全息图，可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
在一些实施例中，空间光调制器的光调制元件是包含液晶的单元。也就是说，在一些实施例中，空间光调制器是液晶设备，其中光学活性部件是液晶。每个液晶单元被配置成选择性地提供多个光调制级别。也就是说，每个液晶单元在任一时间被配置成在从多个可能的光调制级别中选择的一个光调制级别下操作。每个液晶单元可动态地重新配置成与多个光调制级别不同的光调制级别。在一些实施例中，空间光调制器是反射型硅基液晶(lcos)空间光调制器，但是本公开不限于这种类型的空间光调制器。
lcos设备在小孔径(例如几厘米宽)内提供密集的像素阵列。像素通常约为10微米或更小，这样会得到几度的衍射角，这意味着光学系统可以是紧凑的。与其他液晶设备的大孔径相比，更容易充分照射lcosslm的小孔径。lcos设备通常是反射性的，这意味着驱动lcosslm的像素的电路可以埋在反射表面之下。这样得到较高的孔径比。换句话说，像素密集排列，意味着像素之间几乎没有死空间。这是有利的，因为它减少了重放场中的光学噪声。lcosslm使用硅背板，其优点是像素是光学平坦的。这对相位调制设备尤其重要。
下面参考图3，仅通过示例的方式描述合适的lcosslm。使用单晶硅衬底302形成lcos设备。它具有方形平面铝电极301的2d阵列，由间隙301a隔开，布置在衬底的上表面上。每个电极301可以通过埋在衬底302中的电路302a寻址。每个电极形成各自的平面镜。配向层303设置在电极阵列上，液晶层304设置在配向层303上。第二配向层305设置在例如玻璃的平面透明层306上。例如ito的单个透明电极307设置在透明层306和第二配向层305之间。
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学活性的总像素的一部分。通过相对于透明电极307控制施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射到其上的光提供可变延迟。其效果是为波前提供纯相位调制，即没有振幅效应发生。
所描述的lcosslm输出反射的空间调制光。反射式lcosslm的一个优点在于信号线、栅极线和晶体管位于镜面之下，这样得到高填充因子(通常大于90％)和高分辨率。使用反射式lcos空间光调制器的另一个优点是，液晶层的厚度可以是使用透射式设备时所需厚度的一半。这大大提高了液晶的切换速度(这是投影运动视频图像的关键优点)。然而，本公开的教导同样可以使用透射式lcosslm来实现。在实施例中，接收到的计算机生成全息图是平铺引擎的输入全息图。根据平铺方案，输入全息图被“平铺”在空间光调制器上，并且平铺方案被动态改变，例如，它在输入全息图之间被改变。参考图4进一步解释“平铺块”和“平铺”的概念。
全息平铺
图4a仅出于解释平铺的目的示出了输入图像401。仅出于解释的目的，输入图像401是读者熟悉的常规图像，而不是全息图。图像401由[x×y]个像素组成。图4b示出了相对于图4a中的输入图像401平铺的概念。在图4b中，通过重复原始输入图像401的像素子集来形成由[m×n]个像素(其中m＞x并且n＞y)组成的第二个更大的图像400。
尤其是，第二图像400包括与原始输入图像401的那些像素相同的[x×y]个像素的集合401。第二图像中的[x×y]个像素的该集合401可以被认为是完整平铺块(这里也称为“整平铺块”)。第二图像400还包括输入图像401的[a×b]个像素的第一子集402。[a×b]个像素的第一子集402(其中a≤x并且b＜y或者a＜x并且b≤y)可以被认为是第一部分平铺块。第二图像还包括输入图像401的[a，′b′]个像素的第二子集403。[a′×b′]个像素的该第二子集403(其中a′≤x并且b′＜y或者a′＜x并且b′≤y)可以被认为是第二部分平铺块。第二图像400还包括输入图像401的[a″×b″]个像素的第三子集404。[a″×b″]个像素的第三子集404(其中a″≤x并且b″＜y或者a″＜x并且b″≤y)可以被认为是第三部分平铺块。
出于解释的目的，图4b所示的布置是实像平铺的示例。然而，本公开涉及在显示设备上平铺全息图。根据本公开的全息图包括多个像素。通过以与图4a和图4b所示相同的方式平铺初始输入全息图的像素子集，可以形成更大的全息图。全息图的这种平铺在图5和图6中进一步示出。
在一些示例中，提供了一种全息投影仪，包括：驱动器或平铺引擎，其被布置成接收一个或多个包括[x×y]个像素的输入计算机生成全息图，并且使用至少两种不同的平铺方案将一个或多个输入计算机生成全息图的像素映射到包括[m×n]个像素的输出计算机生成全息图序列的像素上，其中mn＞xy，平铺引擎还被布置成向空间光调制器提供输出计算机生成全息图序列；空间光调制器，其被布置成从平铺引擎接收输出计算机生成全息图的序列，并表示输出计算机生成全息图的序列；以及光源，其被布置成照射空间光调制器上表示的输出计算机生成全息图序列，以形成相应的空间调制光图案序列。在一个示例中，平铺引擎被布置成接收一个输入计算机生成全息图。替代地，一个或多个输入计算机生成全息图可以是输入计算机生成全息图的序列。
输入全息图的大小可以在两个维度上小于空间光调制器的大小，并且在至少一个维度上小于输出计算机生成全息图的大小。每个输入计算机生成全息图的像素可以被映射到每个输出计算机生成全息图，使得输出计算机生成全息图的每个像素被填充。可选地，输出计算机生成全息图的像素数等于空间光调制器的像素数。这确保了使用空间光调制器的整个表面积。
当mn＞xy时，每个平铺块的大小小于空间光调制器上表示的输出计算机生成全息图的总大小。最终表示在空间光调制器上的输出计算机生成全息图因此包括多个(即两个或更多)平铺块。在一些实施例中，写入空间光调制器的全息图案或输出计算机生成全息图包括至少一个完整平铺块(即，完整的输入全息图)和至少一个部分平铺块(即，全息图的像素的连续子集)。当输出全息图被表示或显示在空间光调制器上时，输出全息图因此可以被认为包括多个平铺块。
第一平铺方案可以包括将输入计算机生成全息图的完整平铺块映射到第一输出计算机生成全息图的[x×y]个像素的相接第一子集上，第二平铺方案包括将输入计算机生成全息图的完整平铺块映射到第二输出计算机生成全息图的[x×y]个像素的相接第二子集上。第一子集和第二子集可以仅部分重叠。也就是说，第一子集和第二子集的像素的位置仅部分重叠。
第一平铺方案可以包括将输入计算机生成全息图的第一多个部分平铺块映射到第一输出计算机生成全息图上。第二平铺方案可以包括将输入计算机生成全息图的第二多个部分平铺块映射到第二输出计算机生成全息图上。第一多个部分平铺块和第二多个部分平铺块可以不同。例如，第一多个部分平铺块和第二多个部分平铺块在数量上可以不同。替代地或附加地，第一多个中的至少一个部分平铺块在大小上可以不同于第二多个中的所有部分平铺块。
在一些示例中，平铺方案将接收到的计算机生成全息图的完整平铺块映射到输出计算机生成全息图的[x×y]个像素的相接子集上，其中完整平铺块是接收到的计算机生成全息图的[x×y]个像素的相接集合。平铺方案还将接收到的计算机生成全息图的第一部分平铺块映射到输出计算机生成全息图的[a×b]个像素的相接子集，其中第一部分平铺块是接收到的计算机生成全息图的[a×b]个像素的相接子集，其中a≤x并且b＜y或者a＜x并且b≤y。平铺方案还将接收的计算机生成全息图的第二部分平铺块映射到输出计算机生成全息图的[a′×b′]个像素的相接子集上，其中第二部分平铺块是接收的计算机生成全息图的[a′×b′]个像素的接续子集，其中a′≤x并且b′＜y或者a′＜x并且b′≤y。最后，平铺方案将接收到的计算机生成全息图的第三部分平铺块映射到输出计算机生成全息图的[a″×b″]个像素的相接子集上，其中第三部分平铺块是接收的计算机生成全息图的[a″×b″]个像素的相接子集，其中a″≤x并且b″＜y或者a″＜x并且b″≤ya”≤x。这些平铺块的大小使得(ab a′b′ a″b″ xy)＝mn。
在一个示例中，完整平铺块、第一部分平铺块、第二部分平铺块和第三部分平铺块被布置在每个输出计算机生成全息图内，以填充空间光调制器。这四种不同的平铺块可以如下形成和布置。首先，在输出全息图中布置完整平铺块。第一部分平铺块的宽度等于完整平铺块的宽度，并且第一部分平铺块的高度填充输出计算机生成全息图的剩余高度(即，完整平铺块的高度和第一部分平铺块的高度等于输出计算机生成全息图的高度)。第三部分平铺块的高度等于完整平铺块的高度，并且第三部分平铺块的宽度填充输出计算机生成全息图的宽度的剩余部分(即，第三部分平铺块的宽度和完整平铺块的宽度等于输出计算机生成全息图的宽度)。第二部分平铺块填充由完整平铺块以及第一和第三部分平铺块留下的至少一个相应的输出计算机生成全息图的剩余部分。然后，不同的平铺方案可以在例如两种不同的平铺布置之间、三种不同的平铺布置等之间交替，或者在平铺块的所有可能布置之间循环。
在一个实例中，第一输出计算机生成全息图包括选自完整平铺块、第一部分平铺块、第二部分平铺块和第三部分平铺块的两个或更多平铺块的组合。例如，第一输出计算机生成全息图可以包括完整平铺块和第一部分平铺块，或者包括完整平铺块、第二部分平铺块和第三部分平铺块，但是没有第一部分平铺块。在一些实施例中，写入空间光调制器的全息图案包括至少一个完整平铺块(整平铺块，即整个输入全息图)和整个平铺块的至少一部分(部分平铺块，即输入全息图的像素的连续子集)。替代地，可以使用平铺块的任何其他可想到的组合。
因为使用了不同的平铺方案，所以第二输出计算机生成全息图可以包括与第一输出计算机生成全息图不同的平铺块组合。如上所述，使用不同的平铺方案是有利的，因为它产生更高质量的图像。这可以通过在两种平铺方案之间使用不同的平铺块组合来实现。替代地，这可以通过在第一和第二平铺方案之间使用不同数量的平铺块来实现。替代地，在每个平铺方案中可以使用相同数量的平铺块和组合的平铺块，并且仅改变输出计算机生成全息图中平铺块的位置或布置。在优选实施例中，第一和第二平铺方案都包括一个完整平铺块和多个部分平铺块，但是完整平铺块在空间光调制器上的位置在两种平铺方案中是不同的。在两种平铺方案中，完整平铺块周围的空间都用部分平铺块填充。
此外，平铺块可以被布置成使得例如第一平铺方案将第一部分平铺块映射到第一输出计算机生成全息图上，并且第二平铺方案将第一部分平铺块映射到第二计算机生成全息图上。包括所述第一部分平铺块的输出计算机生成全息图的像素的位置可以在第一和第二计算机生成输出全息图之间完全不同，或者像素的位置可以在第一和第二输出计算机生成全息图之间部分重叠。
在一些示例中，平铺方案然后可以将第二部分平铺块映射到每个计算机生成全息图上，其中第一部分平铺块和第二部分平铺块在每个输出计算机生成全息图上形成连续的像素组。例如，两个部分平铺块可以被布置成使得它们的组合宽度等于空间光调制器的宽度，或者它们的组合高度等于空间光调制器的高度。这样，这些部分平铺块有利地被布置成空间光调制器上连续的像素子集。
可选地，全息投影仪还包括被布置成照射空间光调制器的光源。当输出计算机生成全息图显示或表示在空间光调制器上时，空间光调制器的照明使得能够形成对应于输出计算机生成全息图的全息重建。光源可以是至少部分空间相干光源、空间相干光源或激光器。
图5示出了全息图的生成。具体而言，hdmi源或其他图像源501向全息引擎505提供图像503。全息图引擎505被布置成例如根据上面参考图2a和图2b描述的过程，或者通过本领域技术人员已知的任何其他形成全息图的方法来形成或以其他方式生成全息图。
全息图引擎505输出计算机生成全息图507。这是代表图像503的全息图。全息图507可以显示在slm540上，slm540可以是例如上面参考图1和图3描述的空间光调制器。slm540可以是硅基液晶(lcos)slm，但是包括光学寻址slm在内的其他slm同样适用。图5中的虚线区域示出了适合显示或表示全息图的slm的完整区域。值得注意的是，当全息图507被表示在slm上时，并不是空间光调制器的所有像素都被使用。
从图5继续，图6示出了根据本公开的平铺引擎的操作。平铺引擎609接收由全息图引擎505生成的计算机生成全息图507作为输入或接收的全息图。平铺引擎609然后形成相应的输出计算机生成全息图611，用于输出以及随后由空间光调制器540编码和显示。输出计算机生成全息图611大于原始全息图507，并且包括[m×n]个像素，其中m＞x并且n＞y。
输出计算机生成全息图611是由平铺引擎609通过根据平铺方案映射接收的输入计算机生成全息图507的像素来形成。平铺方案也可以称为寻址方案或映射方案。平铺方案提供了关于输入全息图507的哪些像素应该被映射到输出全息图611的哪些像素的指令。如图6所示，该示例的输出全息图611包括与输入全息图507的[x×y]个像素相同的[x×y]个像素的集合607。输出全息图611还包括[a×b]个像素的子集608，其代表输入全息图507的[x×y]个像素的相接连续子集。[a×b]像素的连续相接子集可以理解为代表全息图507的完整子部分，如图4b中关于真实输入图像所示。[a×b]个像素的该子集可以被认为是第一部分平铺块，其中输出全息图611的[x×y]个像素的集合607可以被认为是与初始全息图507相同的完整平铺块。在这方面，平铺方案将输入全息图507的像素以像素组或平铺块的形式映射到输出全息图611，而不是将输入全息图507的单个相邻像素随机分配到相对于输出全息图611中另一个完全不同的位置。
一旦平铺输出全息图611由平铺引擎609形成，它可以显示在空间光调制器，例如空间光调制器540上。替代地，在输出全息图611被slm编码之前，附加信息可以被添加到输出全息图611。在图6所示的示例设备中，提供了用于将软件光学器件应用于全息图的附加引擎613。这些软件光学器件可以是例如如上所述的代表透镜的数据613a和光栅数据613b。软件光学器件在这里也被称为虚拟光学器件。
代表透镜的数据613a是例如纯相位数据的数据，将该数据添加到全息图数据中具有将透镜放置在光束路径中并在垂直于slm平面(或系统中光学器件的焦平面)的方向上沿着光束路径移动重建图像的效果。代表透镜的数据613a用于模拟真实的物理透镜的存在。因此，计算或软件透镜数据(换句话说，软件或计算透镜)用于增加系统的光焦度。在一些实施例中，代表透镜的数据613a被配置成执行傅里叶变换。此外，或者替代地，代表透镜的数据613a还可以增加光焦度，以校正屏幕中的或将在其上形成全息重建的其他表面中的像差。例如，可以通过添加代表透镜的数据613a来补偿挡风玻璃的光焦度。
如上所述，代表透镜的数据613a可选地是傅里叶变换透镜，其用于将全息图数据傅里叶变换到空间域，避免了对物理透镜的需要。在计算机生成全息图的领域中，已知如何将代表透镜的全息图数据与代表物体的全息图数据相结合，使得可以在不需要物理傅里叶透镜的情况下执行傅里叶变换。在一些实施例中，透镜数据通过简单的矢量加法与全息图数据相结合。在一些实施例中，物理透镜与软件透镜结合使用来执行傅里叶变换。替代地，在其他实施例中，傅里叶变换透镜被完全省略，使得全息重建发生在远场中。
在进一步的实施例中，全息图可以包括光栅数据613b，也就是被布置来执行光栅的功能(如光束控制)的数据。数据613b是数据，将其添加到全息图数据具有将光栅放置在光束路径中并在垂直于光束路径且平行于slm平面(或光学器件的焦平面)的方向上移动重建图像的效果。同样，在计算机生成全息图的领域中，已知如何计算这种全息图数据并将其与代表物体的全息图数据相结合。例如，可以通过为闪耀光栅表面上每个点引起的相位延迟建模来形成纯相位全息光栅。纯振幅全息光栅可以简单地叠加在代表物体的纯振幅全息图上，以提供纯振幅全息图的角度控制。
一旦虚拟光学引擎613应用了虚拟光学器件或软件光学器件，就可以输出最终全息图615，用于根据输出计算机生成全息图来设置空间光调制器540的像素。如前所述，空间光调制器可以是硅基液晶或lcos空间光调制器540。空间光调制器540被布置成接收和表示最终全息图615，并被照射时根据在空间光调制器上表示的计算机生成全息图输出空间调制光，该空间调制光用于在重放场位置例如在屏幕或车辆挡风玻璃上形成全息重建。
在图5和图6所示的示例中，对于输入图像503的给定输入全息图507，平铺引擎仅形成单个输出计算机生成全息图。然而，将容易认识到，输出计算机生成全息图611的序列可以由平铺引擎609生成或形成。输出计算机生成全息图611的序列可以以不同的方式实现。
在第一实现方式中，平铺引擎609被布置成接收包括[x×y]个像素的第一计算机生成全息图507，并且通过根据相应的多个不同平铺方案将第一计算机生成全息图507的像素映射到多个输出计算机生成全息图611中的每一个的像素上来形成包括[m×n]个像素的多个输出计算机生成全息图。在一些实施例中，平铺引擎609接收的第一计算机生成全息图507是输入全息图序列中的一个输入全息图，并且多个输出计算机生成全息图611对应于每个输入全息图。在该实现方式的一个特定示例中，第一接收的计算机生成全息图507被映射以根据相应的第一和第二平铺方案形成第一和第二输出计算机生成全息图611。当然，平铺引擎609接收的第一计算机生成全息图可以是单个图像的全息图，而不是视频帧的全息图，以创建图像的全息重建。
在第二实现方式中，平铺引擎609被布置成接收多个输入计算机生成全息图507，并且通过根据相应的多个不同平铺方案将多个计算机生成全息图507的像素映射到输出计算机生成全息图611的像素上来形成相应的多个输出计算机生成全息图611。在该实现方式的一个特定示例中，平铺引擎接收第一计算机生成全息图507，并通过根据第一平铺方案将第一输入计算机生成全息图507的像素映射到第一输出计算机生成全息图611的像素上来形成第一输出计算机生成全息图611。平铺引擎609然后接收第二输入计算机生成全息图，并通过根据第二平铺方案将第二接收的计算机生成全息图的像素映射到第二输出计算机生成全息图的像素上来形成第二输出计算机生成全息图。对于随后的输入全息图，可以重复该过程。
在上述两个示例中，平铺引擎被布置成使用第一平铺方案将像素映射到第一输出计算机生成全息图上，并且使用第二平铺方案将像素映射到第二输出计算机生成全息图上。优选地，上述示例实现方式的第一和第二平铺方案是不同的，尽管可以想象它们也可以是相同的。在有多个平铺方案的情况下，平铺方案可以全部不同，或者可以在两个不同的平铺方案之间交替，或者一些或全部平铺方案可以相同。下面参照图7a至图7c描述两种不同平铺方案的使用示例。
图7a示出了输出全息图711的示例。这可以被认为等同于图6的输出全息图611。输出全息图711包括两个平铺块：第一完整平铺块707，其表示对应于初始输入图像(图5的特征503)的输入全息图507的完整副本，以及第二部分平铺块708，其表示输入全息图507的像素子集。平铺引擎609使用第一平铺方案将初始输入全息图507映射到输出全息图711。
图7b示出了第二输出全息图721。输出全息图721包括第一完整平铺块717和第二部分平铺块718。在一个示例中，全息图721是对应于输入全息图507的输出计算机生成全息图。在另一个示例中，全息图721是对应于不同的第二输入全息图的输出计算机生成全息图，第二输入全息图被平铺引擎609接收并根据第二平铺方案被映射以形成输出全息图721。通过比较图7a和图7b可以看出，第一和第二平铺方案是不同的。
图7c示出了第三输出全息图731。输出全息图731包括第一完整平铺块727和第二部分平铺块728。在一个示例中，全息图731是对应于输入全息图507或用于形成图7b所示的输出计算机生成全息图721的第二输入全息图的输出计算机生成全息图。在另一个示例中，全息图731是对应于第三不同输入全息图的输出计算机生成全息图。第三输入全息图由平铺引擎609接收，并根据第三平铺方案被映射以形成输出全息图731。通过比较图7a和图7c可以看出，第一和第三平铺方案是相同的。在这个示例中，全息投影仪被配置成在第一和第二平铺方案之间交替。根据具体的实现方式，这种交替可以发生在一个帧内或帧之间。
图8a至图8d示出了利用本全息投影仪可实现的平铺布置的替代实现方式。图8a至图8d中的每一个示出了根据不同平铺方案的输入或接收的计算机生成全息图到输出计算机生成全息图的映射。每个平铺方案将初始输入全息图映射为一个完整的平铺块830、第一部分平铺块810和第二部分平铺块820。图8a示出了第一平铺方案，其将第一和第二部分平铺块810和820彼此相邻地映射到整个平铺块830之上。图8b示出了第二平铺方案，其中第一和第二部分平铺块的位置被交换。整个平铺块830保持在相同的位置。图8c示出了第三平铺方案，其中第一和第二部分平铺块的位置被再次交换回来，并且整个平铺块和部分平铺块的位置也被交换。整个平铺块830现在位于图8c中的两个部分平铺块之上，而对于图8b中的第二平铺方案，整个平铺块830位于部分平铺块之下。图8d示出了第四平铺方案，其中整个平铺块830保持在与图8c的第三平铺方案相同的位置，但是第一和第二部分平铺块810和820的位置再次交换。
图9示出了全息投影仪平铺布置的替代实现方式。在图9中，输出计算机生成全息图包括四个平铺块：整个平铺块910、第一部分平铺块920、第二部分平铺块930和第三部分平铺块940。这四个平铺块填充了空间光调制器的全部可用输出。这些平铺块的大小如图10a所示。可以看出，第一部分平铺块的宽度等于整个平铺块的宽度，第三部分平铺块的高度等于整个平铺块的高度，并且其中第二部分平铺块填充至少一个相应的输出计算机生成全息图的剩余部分。图9所示的平铺示例是连续的。也就是说，相邻的平铺块在一个或两个方向上边缘与边缘相连。
如图10a所示，整个平铺块910是接收的计算机生成全息图(例如，如图6所示的输入计算机生成全息图507)的[x×y]个像素的连续、相接集合，其被映射到输出计算机生成全息图的[x×y]个像素的相接集合上。对于整个平铺块910，像素数x代表宽度，像素数y代表高度。第一部分平铺块920是接收到的计算机生成全息图的[a×b]个像素的相接连续子集，其中a＝x并且b＜y，其映射到输出计算机生成全息图的[a×b]个像素的相接子集上。对于第一部分平铺块920，像素数a代表宽度，像素数b代表高度。如参考图9所讨论的，整个平铺块910的宽度等于第一部分平铺块920的宽度。第二部分平铺块930是接收到的计算机生成全息图的[a′×b′]个像素的相接子集，其中a′＜x并且b′＜y，其映射到输出计算机生成全息图的[a′×b′]个像素的相接子集上。对于第二部分平铺块930，像素数a′代表宽度，像素数b′代表高度。最后，第三部分平铺块940是接收到的计算机生成全息图的[a″×b″]个像素的相接子集，其中a″＜x并且b″＝y，其映射到输出计算机生成全息图的[a″×b″]个像素的相接子集。对于第三部分平铺块940，像素数a″代表宽度，像素数b″代表高度。如参考图9所讨论的，第三部分平铺块940的高度等于整个平铺块910的高度。
在图10a中，根据第一平铺方案，将四个不同的平铺块映射到输出计算机生成全息图上。第二部分平铺块930具有宽度和高度，使得其填充输出计算机生成全息图的剩余部分。换句话说，平铺块被布置成使得a′ x＝a″ a＝m并且b y＝b″ b′＝n，由此填充输出计算机生成全息图中的所有可用空间。图10b至图10f中的每一个示出了四个平铺块的不同配置，其表示根据不同平铺块方案的初始输入全息图到输出计算机生成全息图的映射。从图10a至图10f中可以看出，输出计算机生成全息图中的平铺块数量没有变化，只有它们的布置发生变化。
相比之下，图11a至图11f示出了不同平铺方案之间平铺块数量的变化，并因此示出了平铺块大小及其在输出计算机生成全息图中的位置的变化。具体而言，图11a示出了输入全息图到六个平铺块(一个整个平铺块和五个部分平铺块)的映射，每个部分平铺块大小相等。图11b然后示出了一个整个平铺块、第一部分平铺块和不同于第一部分平铺块的两个第二部分平铺块的映射。图11c至图11f随后示出了在图11a和图11b的平铺块数量之间映射的平铺块数量的交替，尽管所述平铺块在输出计算机生成全息图内的位置在图之间有变化，这表明每个映射根据不同的平铺块方案发生。
图7a至图7c、图8a至图8d、图10a至图10f和图11a至图11f中所示的布置都展示了不同的平铺方法。通过改变在连续平铺方案之间映射的平铺块的数量、大小和/或位置，全息重建的质量得以提高。平铺方案的变化率可以大于50hz，可选地，为50至500hz。
这里描述的方法和过程可以在计算机可读介质上实现。术语“计算机可读介质”包括被布置成临时或永久存储数据的介质，例如随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”还应被理解为包括能够存储供机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时，使机器整体或部分地执行这里描述的任何一种或多种方法。
术语“计算机可读介质”也包括基于云的存储系统。术语“计算机可读介质”包括但不限于固态存储器芯片、光盘、磁盘或其任何合适组合的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传送。这种载体介质的示例包括瞬态介质(例如，传送指令的传播信号)。
对于本领域技术人员来说，很明显，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变化。本公开涵盖所附权利要求及其等同物范围内的所有修改和变化。
1.一种用于包括[m×n]个像素的空间光调制器的驱动器，其中所述驱动器被布置成接收每个都包括[x×y]个像素的输入全息图，其中m≥x并且n≥y，并且通过使用平铺方案将每个输入全息图平铺在所述空间光调制器的像素上以形成对应于每个输入全息图的输出全息图，来驱动所述空间光调制器在其上显示每个都包括[m×n]个像素的输出全息图，其中
所述驱动器被布置成使用第一平铺方案来显示第一输出全息图，并且使用第二平铺方案来显示第二输出全息图，其中每个输出全息图包括所述输入全息图的多个平铺块，并且每个平铺方案定义每个平铺块的大小以及每个平铺块在所述空间光调制器的像素上的位置。
2.根据权利要求1所述的驱动器，其中每个输出全息图的相邻平铺块将所述输入全息图的一个边缘连接到所述输入全息图的相对边缘。
3.根据任一前述权利要求所述的驱动器，其中每个输出全息图包括至少一个完整平铺块，其中完整平铺块是所述输入全息图的[x×y]个像素的完整相接组。
4.根据任一前述权利要求所述的驱动器，其中m≥2x并且n≥2y。
5.根据任一前述权利要求所述的驱动器，其中每个输出全息图包括多个部分平铺块，其中部分平铺块是所述输入全息图的像素的相接子集。
6.根据权利要求1至5中任一项所述的驱动器，其中所述驱动器被布置成：接收第一输入全息图；在第一时间，使用第一平铺方案将所述第一输入全息图平铺到所述空间光调制器的像素上，以显示第一输出全息图；以及在第二时间，使用第二平铺方案将所述第一输入全息图平铺到所述空间光调制器的像素上，以显示第二输出全息图。
7.根据权利要求1至5中任一项所述的驱动器，其中所述驱动器被布置成接收输入全息图的视频速率序列，并且对于每个输入全息图，在下一个输入全息图被接收之前，通过使用多个不同的平铺方案将所述输入全息图平铺到所述空间光调制器的像素上，来连续显示多个相应的输出全息图。
8.根据权利要求1至5中任一项所述的驱动器，其中所述驱动器被布置成：接收第一输入全息图；在第一时间，使用第一平铺方案将所述第一输入全息图平铺到所述空间光调制器的像素上，以显示第一输出全息图；接收第二输入全息图；以及在第二时间，使用第二平铺方案将所述第二输入全息图平铺到所述空间光调制器的像素上，以显示第二输出全息图。
9.根据权利要求1至5中任一项所述的驱动器，其中所述驱动器被布置成接收输入全息图的视频速率序列，并通过将每个输入全息图连续平铺到所述空间光调制器的像素上并连续改变所述平铺方案来显示输出全息图的相应视频速率序列。
10.根据任一前述权利要求所述的驱动器，其中每个输入全息图包括空间频率的空间分布，可选地，其中每个输入全息图是傅里叶或菲涅耳全息图。
11.一种全息投影仪，其包括根据任一前述权利要求所述的驱动器，还包括空间光调制器和光源，所述光源被布置成用相干光照射每个输出全息图，使得对应于每个输入全息图的全息重建形成在重放平面上。
12.一种用于驱动包括[m×n]个像素的空间光调制器的方法，所述方法包括：
接收包括[x×y]个像素的输入全息图，其中m≥x并且n≥y；
通过在第一时间使用第一平铺方案将输入全息图平铺在所述空间光调制器的像素上，来显示包括[m×n]个像素的第一输出全息图；
通过在第二时间使用第二平铺方案将输入全息图平铺在所述空间光调制器的像素上，来显示包括[m×n]个像素的第二输出全息图，
其中每个输出全息图包括对应输入全息图的多个平铺块，并且所述平铺方案定义每个平铺块的大小和每个平铺块在所述空间光调制器的像素上的位置。
13.根据权利要求12所述的驱动空间光调制器的方法，其还包括：
接收第一输入全息图；
在第一时间，使用第一平铺方案将所述第一输入全息图平铺到所述空间光调制器的像素上，以显示第一输出全息图；以及
在第二时间，使用第二平铺方案将所述第一输入全息图平铺到所述空间光调制器的像素上，以显示第二输出全息图。
14.根据权利要求12所述的驱动空间光调制器的方法，其还包括：
接收输入全息图的视频速率序列；
对于每个输入全息图，在下一个输入全息图被接收之前，通过使用多个不同的平铺方案将所述输入全息图平铺到所述空间光调制器的像素上，来连续显示多个相应的输出全息图。
15.根据权利要求12所述的驱动空间光调制器的方法，其还包括：
接收第一输入全息图；
在第一时间，使用第一平铺方案将所述第一输入全息图平铺在所述空间光调制器的像素上，以显示第一输出全息图；
接收第二输入全息图；
在第二时间，使用第二平铺方案将所述第二输入全息图平铺在所述空间光调制器的像素上，以显示第二输出全息图。
16.一种全息投影方法，其包括：
根据权利要求12至15中任一项的方法驱动空间光调制器；以及
用相干光照射每个输出全息图，以对应于每个输入全息图在重放平面上形成至少一个全息重建。
17.根据权利要求12至16中任一项所述的全息投影方法，其中m≥2x并且n≥2y。
技术总结