← 返回文章

文献解读 · 光学与光子学

超表面波导全息显示:全彩三维图像与 11.7° 视场

阅读设置

设置仅保存在当前浏览器。

18
留言 0
文章目录

一句话结论:全玻璃超表面光栅做波导耦合器,全息 AR 样机实现全彩三维显示,视场 11.7°、可见光透过率 78.4%。

论文简介

增强现实(augmented reality,AR)眼镜要把图像送进眼前,通常得先让微显示器经过一枚投影镜头。镜头的厚度大致随焦距增加,镜片组往往比波导本身还占地方。全息显示换了一条路:把图像编码在波前的相位里,让光自己干涉成像,投影镜头就可以省掉。问题是,省掉镜头之后,红绿蓝三色的相干光还要在同样一块薄波导里走完入耦合、传播、出耦合三段路,色散、全反射和视场会互相牵制。

2024 年 5 月,斯坦福大学的 Gordon Wetzstein 课题组在 Nature 发表了 Full-colour 3D holographic augmented-reality displays with metasurface waveguides(DOI: 10.1038/s41586-024-07386-0)。作者为 Manu Gopakumar、Gun-Yeal Lee、Suyeon Choi、Brian Chao、Yifan Peng、Jonghyun Kim 与 Gordon Wetzstein,来自斯坦福大学电子工程系、香港大学电机电子工程系与 NVIDIA。论文把三件事放在同一个系统里联合设计:逆向设计的全玻璃超表面光栅、色散补偿的高折射率波导几何,以及用相机反馈校准的全息波传播模型。样机在 5 mm 厚的玻璃波导里给出全彩、可调焦的三维图像;具体指标在后面几节展开。

这篇工作发表于 2024 年,是 Nature 的实验论文;论文以 CC BY 4.0 开放获取,实验图可以直接转载。这里的超表面不承载全息图,只做波导的入/出耦合光栅;全息图由相位型空间光调制器产生。这一点决定了后面的指标是视场、透过率和角度均匀性,而不是全息图的衍射效率。本篇要回答的是“全彩三维图像怎样装进一块薄波导,视场又为什么只有 11.7°”。

为什么全息显示可以不要投影镜头

常规波导 AR 的光路可以拆成三段。微显示器(有机发光二极管 OLED 或微发光二极管 micro LED)是振幅型器件,每个像素改变的是发光强度;投影镜头把这幅强度图像成像到无穷远或某个固定距离;成像到无穷远时,出射的是准直平面波。入耦合光栅再把光折进波导,靠全反射送到出耦合光栅。投影镜头的厚度由焦距决定,焦距又要和显示器的尺寸、需要的视场匹配,所以镜片组很难做得比波导更薄。

全息显示把第二段换掉了。相位型空间光调制器(spatial light modulator,SLM)的每个像素不改变强度,而是给入射光一个 0 到 \(2\pi\) 的相位延迟。一束相干光被这组相位调制后,传播一段距离,就在目标位置形成一幅复振幅分布;人眼看到的是这个分布继续传播到视网膜上的强度。计算机生成全息(computer-generated holography,CGH)做的是逆问题:给定目标图像和它到 SLM 的距离,求出一组相位图案,使传播后的场尽量接近目标。SLM 不需要成像到无穷远,可以贴在入耦合光栅前面,投影镜头这一段就省掉了。

三维显示来自传播距离。CGH 可以把不同深度的物体放在不同的传播距离上;相机或人眼聚焦到哪个距离,哪个深度的物体就最清楚,前后景自然离焦。这给出的是聚焦线索,不只是双目视差。常规双目 AR 把图像固定在某个距离,眼睛的调焦和双眼汇聚对不上,会产生聚散—调节冲突(vergence–accommodation conflict,VAC);全息多平面显示能减轻这种冲突,但前提是每个深度面的图像质量足够好。

波导在这一套里的任务不是“成像”,而是“搬运”。入耦合光栅把 SLM 的波前折进玻璃,波前在玻璃与空气的界面之间多次全反射,每反射一次就在出耦合器上复制一份出瞳;出耦合光栅再把光取出,送到眼睛。入、出耦合器的光栅矢量要匹配,否则红绿蓝会沿不同方向出射,出现彩色重影。图 1 把常规光路、全息光路和本文的 3D 打印样机放在一起。

波导 AR 显示原理

图 1:波导 AR 显示的光学原理。(a) 常规 AR 眼镜用振幅型 SLM(OLED 或 micro LED),需要投影镜头,厚度至少与焦距 f 同量级;(b) 本文用相位型 SLM 靠近入耦合光栅,省去投影镜头,并能提供三维深度线索;(c) 3D 打印的紧凑样机。

相干光也带来代价。激光在波导里来回反射,表面的颗粒、划痕和多次反射会形成散斑、条纹和杂散光;这些在非相干照明里不出现。论文用部分相干照明(几个相干模式在时间上复用)和相机校准的传播模型来压这些效应,后者在波导模型那一节展开。这套系统省掉的是投影镜头,不是激光器、SLM 和波导;它把体积从“镜头组”转移到“一块玻璃和一套算法”上。

一层玻璃里怎样同时送进红绿蓝

波导能把光关在玻璃里,靠的是全反射。光从折射率为 \(n(\lambda)\) 的玻璃射向空气,入射角大于临界角 \(\theta_c\) 时,界面外没有传播波,能量全部反射回玻璃:

\[ \theta_c(\lambda)=\arcsin\frac{1}{n(\lambda)}. \]

要让光以足够大的角度进入波导,先得用光栅给它一个横向波矢。光栅方程在波导内写成

\[ n(\lambda)\sin\theta(\lambda)=\sin\theta_{\rm in}+\frac{m\lambda}{\Lambda}, \]

其中 \(\Lambda\) 是光栅周期,\(m\) 是衍射级次,\(\theta_{\rm in}\) 是入射角。样机的照明接近正入射,取 \(m=+1\),就有

\[ \sin\theta(\lambda)=\frac{\lambda}{n(\lambda)\Lambda}. \]

把论文的三色波长、折射率和 \(\Lambda=384\ \mathrm{nm}\) 代入,得到表 1 的内衍射角。三色的角度都大于各自的临界角,所以都能被全反射约束在玻璃里;蓝光的裕量只有 6.1°,红光的裕量有 33.7°。这个差别决定了三色在波导里的光程和出瞳位移不同,后面的厚度窗口和角度均匀性都要围绕它做取舍。

表 1:按光栅方程和论文补充材料参数估算的三色内衍射角与全反射裕量(取 n(638 nm)=1.798、n(445 nm)=1.842,绿光 n≈1.82)。

颜色 波长 / nm 折射率 内衍射角 / ° 临界角 / ° 裕量 / ° 单次往返出瞳位移 l / mm
蓝 445 1.842 39.0 32.9 6.1 8.09
绿 521 1.820 48.2 33.3 14.9 11.18
红 638 1.798 67.5 33.8 33.7 24.17

光在波导里每完成一次往返,出瞳就横向平移一段

\[ l(\lambda)=2d_{\rm wg}\tan\theta(\lambda), \]

\(d_{\rm wg}\) 是波导厚度。\(l\) 不能太小:蓝光的 \(l\) 最小,如果小于 SLM 波前的尺寸 \(L_{\rm slm}=6.5\ \mathrm{mm}\),出耦合器就收不满一个完整的出瞳,出瞳范围会变窄。\(l\) 也不能太大:红光的 \(l\) 最大,如果超过入耦合器到出耦合器最远端的距离 \(L_{\rm wg}=30.86\ \mathrm{mm}\),红光的出瞳会跑到器件外面。其中 \(\theta_B\)、\(\theta_R\) 分别是蓝光和红光的内衍射角;把表 1 的 \(l\) 代进去:

\[ d_{\rm wg}\ge\frac{L_{\rm slm}}{2\tan\theta_B}=4.02\ \mathrm{mm},\qquad d_{\rm wg}\le\frac{L_{\rm wg}}{2\tan\theta_R}=6.38\ \mathrm{mm}. \]

5 mm 的厚度就落在 4.02–6.38 mm 的窗口里。厚度减到 4 mm 以下,蓝光出瞳收不满;增到 6.4 mm 以上,红光出瞳跑出耦合器。窗口的下限由蓝光决定,上限由红光决定,中间还要给三色的色散补偿留余量。

色散补偿主要靠系统几何,而不是靠色散工程超表面。入耦合器和出耦合器被设计成动量相同、方向相反:入耦合时波矢被平移多少,出耦合时就反向平移多少,三色的角色散在出射端相互抵消。剩下的问题是三色的出瞳在玻璃里走了不同的折线,要它们在出耦合器上重合,就得让厚度和耦合器的尺寸、间距配合。论文用 5 mm 厚度和 384 nm 周期,把三色的出瞳对齐到同一片出耦合光栅上;下一节图 2a 画出了三色在波导内的折线路径。

视场的上限也来自这两个约束。蓝光一侧,出瞳位移不能小于 SLM 波前,对应一个角度 \(\theta_-\);红光一侧,出瞳位移不能超过耦合器跨度,对应另一个角度 \(\theta_+\)。其中 \(\lambda_B\)、\(n_B\) 和 \(\lambda_R\)、\(n_R\) 分别是蓝光和红光的波长与折射率。论文补充材料把总视场写成

\[ \theta_-=\arcsin\left[\frac{\lambda_B}{\Lambda}-n_B\sin\left(\arctan\frac{L_{\rm slm}}{2d_{\rm wg}}\right)\right], \]
\[ \theta_+=\arcsin\left[n_R\sin\left(\arctan\frac{L_{\rm wg}}{2d_{\rm wg}}\right)-\frac{\lambda_R}{\Lambda}\right], \]
\[ \theta_{\rm FOV}=\theta_-+\theta_+. \]

代入 5 mm 和表 1 的参数,\(\theta_-=8.92^\circ\),\(\theta_+=2.81^\circ\),和是 11.72°,与论文的 11.7° 一致。这两个角不是对称的:蓝光一侧贡献 8.9°,红光一侧只贡献 2.8°。所以在 5 mm 这组参数下,限制视场的主要是红光的几何,而不是蓝光。

厚度本身也是一个变量。把 \(d_{\rm wg}\) 从窗口下限 4.02 mm 往上调,\(\theta_-\) 增大、\(\theta_+\) 减小,总视场从约 4.6° 升到 18.8°(6.38 mm 处)。但波导越厚,眼镜越笨重;论文选 5 mm,是在形态和视场之间取中。要同时做到更薄和更大视场,论文给出的两条路是提高玻璃折射率,或者在出耦合器上再加一层超表面目镜;前者把三色的内衍射角整体压小、角度差变窄,给耦合器的角度窗口留出余量,后者扩大出耦合器的角度响应。还有一条更根本的路:把 SLM 的像元做小,让同样视场所需的波前尺寸变小,波导才能跟着变薄。

逆向设计的光栅:效率与角度均匀性

知道了三色要在什么角度传播,接下来的问题是光栅的形状。常规的二元光栅主要靠占空比和刻蚀深度调节,自由度少,衍射效率随入射角变化,角度一偏,一级衍射的强度就掉下去;在 ±5° 的入射角范围里,这会让画面边缘变暗、颜色不均。论文用严格耦合波分析(rigorous coupled-wave analysis,RCWA)计算光栅的衍射,再用梯度下降和 Adam 优化二维截面。

优化的目标函数有两项:最大化 638、521、445 nm 三个波长的一级衍射效率之和,同时最小化 ±5° 入射角范围内效率的标准差。设计假设沿 x 轴对称,把二维问题压到一维;为了把大面积制造的误差算进去,每轮迭代对折射率分布做高斯模糊。最终收敛到一条双线型的光栅:两条不对称的线取代了简单的矩形占空比,让局域的有效折射率和光栅强度同时照顾三个波长。耦合器工作在横电(transverse electric,TE)偏振,因为 TE 的角度响应更均匀。

图 2 给出设计和测量的结果。周期 384 nm、高 220 nm 的光栅刻在 SF6 玻璃上,扫描电镜能看到双线轮廓;非偏振白光的可见光波段透过率最高约 78.4%,这是“看穿”真实场景的透过率,不是全息虚像的功率效率。图 2f 的传递函数更能说明问题:常规光栅在绿光和蓝光的某些入射角上效率明显下降,逆向设计的光栅把曲线拉平;红光的衍射角最大(67.5°),能用来提升效率的角度余量最小,所以红光的改善也最小。

超表面耦合器的设计与评估

图 2:逆向设计的超表面耦合器。(a) 全彩波导几何;(b) 638、521、445 nm 的出耦合电场图,箭头为波矢;(c) 周期 384 nm、高 220 nm 的超表面结构;(d) 扫描电镜照片,左图比例尺 2 μm,右图 200 nm;(e) 非偏振光的可见光透过谱;(f) 常规光栅与逆向设计光栅的传递函数;(g) 视场范围内的角度均匀性。

表 2:常规光栅与逆向设计光栅的角度均匀性(定义为视场范围内传递函数的最小/最大幅度比)。

颜色 常规光栅 逆向设计光栅
红(638 nm) 58.9% 61.7%
绿(521 nm) 47.7% 91.2%
蓝(445 nm) 88.8% 98.3%

绿光的改善最明显:从 47.7% 到 91.2%,最小耦合效率接近最大耦合效率。蓝光本来就有 88.8%,提升到 98.3%;红光只从 58.9% 到 61.7%,因为它的衍射角太大,光栅能提供的角度余量很窄。这个结果也解释了为什么论文把“红光效率”单列为难点:限制来自红光的大衍射角,进一步优化算法的空间不大。

“均匀性”在这里是传递函数的最小/最大幅度比,衡量的是不同入射角下耦合效率的平坦程度,不是整幅图像的亮度均匀性。整幅图像的亮度均匀性还会受到波导传播和相机响应的影响,不能直接用这组数字推断。把这两个“均匀性”混为一谈,会高估光栅本身的作用。

把波导里的相干光写进模型

全息图的质量不只取决于光栅。SLM 上的相位图案经过入耦合、波导传播、出耦合,再自由空间传播到眼睛;每一步都有像差、反射、衍射和装调误差。论文先写一个物理模型,再用相机反馈把模型校准到样机上。

物理部分可以写成三步。入耦合后的波前是 SLM 相位、照明波前和入耦合孔径的乘积:

\[ u_{\rm IC}(x,y)=a_{\rm IC}(x,y)\,e^{i\phi(x,y)}\,u_{\rm illum}(x,y). \]

波导传播用传递函数 \(H_{\rm WG}\) 描述(\(\mathcal{F}\) 为傅里叶变换),出耦合再乘上出耦合孔径:

\[ u_{\rm OC}=\mathcal{F}^{-1}\left\{H_{\rm WG}(f_x,f_y)\,\mathcal{F}\left\{u_{\rm IC}\right\}\right\}\,a_{\rm OC}. \]

最后把出耦合场传播到目标距离 \(d_{\rm target}\)(\(\mathcal{P}_{d}\) 为自由空间传播算子),取强度:

\[ I(\cdot;d_{\rm target})=\left|\mathcal{P}_{d_{\rm target}}\left\{u_{\rm OC}\right\}\right|^2. \]

\(H_{\rm WG}\) 里包含波导内的反射系数、耦合效率、一级衍射的传播和入/出耦合器之间的平移。只靠这个模型不够:玻璃表面的纳米级起伏、光栅的制造误差、SLM 的电光响应和光源的波前都会让模拟和实际偏离。论文在入耦合面和目标面各加一个卷积神经网络(convolutional neural network,CNN),把孔径函数和部分传播参数变成可学习量,用相机拍到的图像做监督。

训练数据是每个颜色通道 1 万组相位图案/相机图像对;深度面取 0、0.33、0.67、1.0 D(D 为屈光度,分别对应无穷远、3 m、1.5 m、1 m),训练/验证/测试按 8:1:1 划分。模型在 48 GB 的 NVIDIA RTX A6000 上训练,先训一轮,再用模型生成的数据做两轮细化。图 3 画出了物理部分和可学习部分的分工。

波导传播模型

图 3:波导传播模型。绿色为物理部分,橙色为相机反馈训练的神经网络部分;输入相位图案经入耦合、波导传递和出耦合,传播到不同目标距离,再与相机图像比对。

校准后的模型把二维和三维全息图的峰值信噪比(peak signal-to-noise ratio,PSNR)提高了 3–5 dB。PSNR 是对数功率比,3 dB 约等于强度 2.0 倍,5 dB 约等于 3.16 倍;这里说的是误差功率降到原来的二分之一到三分之一,不是“画面亮了 3–5 倍”。论文用这个模型做梯度下降 CGH,生成一幅相位图案目前需要数分钟。模型越准,CGH 越能补偿波导的像差;但在这套流程里,换一台样机或重新装调后,需要重新采集数据校准,这也是它离消费级产品较远的原因之一。

实验结果:全彩、三维与光学透视

图 4 是三组相机拍到的结果。图 4a 比较二维全息图在三种模型下的质量:朴素自由空间模型、纯物理模型、物理 + CNN 模型。第三组的细节最清楚,PSNR 比前两组高 3–5 dB。图 4b 是两个三维场景,相机分别聚焦在前景和背景:聚焦的那个深度清楚,另一个深度自然离焦;这说明 CGH 确实把不同深度编码进了波前,而不是把一张二维图贴在固定距离上。图 4c 是光学透视模式:虚拟的鸟、鱼、蝴蝶叠在真实的象和字母上,相机改变焦点时,虚实两者的离焦行为一致。

全彩三维全息实验结果

图 4:样机实验结果。(a) 二维全息图在自由空间模型、物理模型和物理 + CNN 模型下的对比;(b) 两个三维场景,相机聚焦在不同深度,蓝框为聚焦内容、白框为离焦内容;(c) 光学透视模式下虚拟物体与真实场景的叠加。

把样机的关键指标放在一起,能看出它做到了什么、没做到什么。

表 3:论文样机的关键指标与测量条件。

指标 数值 条件/口径
视场 11.7° 波导几何上限;论文补充材料算得 11.72°
可见光透过率 约 78.4% 非偏振光,可见光波段;看穿真实场景的透过率
角度均匀性(红/绿/蓝) 61.7% / 91.2% / 98.3% 视场内传递函数的最小/最大幅度比
图像质量提升 PSNR +3–5 dB 相对自由空间模型和纯物理模型
波导厚度 5 mm SF6 玻璃,n≈1.8
光栅周期/高度 384 nm / 220 nm 双线型,TE 偏振
SLM 1080 × 1920,像元 6.4 μm HOLOEYE LETO-3
全息图生成 数分钟/幅 离线 CGH,未实时化

这套系统没有单独的吸收型彩色滤光片,三色共用同一片波导,如果入/出耦合器的色散不匹配,红绿蓝会沿不同角度出射,形成彩色重影;论文用 k 矢量匹配和波导几何把三色的出瞳对齐,让它们从同一片出耦合光栅出射。论文没有单独给出“串扰百分比”,评价方式是全彩图像的质量和颜色是否对齐。这里要区分“颜色串扰”和“颜色纯度”:前者是三个通道在空间上是否重合,后者是单个通道的光谱宽度;这篇主要处理前者,后者与激光的窄线宽有关。

刷新能力是另一个边界。SLM 本身可以刷新,但 CGH 目前每幅要算数分钟;按 60 Hz 显示、一帧 16.7 ms 计,数分钟一幅比实时慢约四个数量级。论文没有声称实时全息视频,只展示了静态或离线计算的三维场景。要把这套系统做成能看视频的眼镜,CGH 的反演速度必须从“分钟”降到“毫秒”,这是算法和硬件共同的问题。

光源是另一个需要分开看的参数。样机用 638、521、445 nm 三支激光二极管;窄线宽的三原色能覆盖更大的色域,色域与线宽的关系在站内色域原理与量子点里算过。445 nm 的蓝光落在蓝光危害权重 \(B(\lambda)\) 的峰值附近,具体的 \(B(\lambda)\) 加权和频闪判据见今天的光学稿屏幕光谱、蓝光危害与 PWM 频闪;这里只把波长当作波导设计参数,不对观看安全下结论。

最后要说明实验的边界。图 4 是相机通过样机拍到的结果,不是人眼佩戴实验;论文没有给出出瞳尺寸、佩戴舒适度或长期稳定性。11.7° 的视场是波导几何的上限,不是“全息技术只能做到 11.7°”;论文也指出这个数与不少商用 AR 系统相当,但仍希望更大。换更高的折射率、加超表面目镜或缩小 SLM 像元,这个数会变。把样机指标当成消费者眼镜的指标,会忽略激光器、SLM、校准流程和封装。

意义与展望

这篇工作的重点是把三件事放在同一个设计回路里:光栅的衍射效率、波导的几何色散、全息算法的波前校正。单独优化任何一件,都很难同时得到全彩、三维和光学透视;联合设计之后,投影镜头被省掉,样机在 5 mm 厚的玻璃里给出了全彩三维图像。论文把这条路线称为通向真正三维全息 AR 眼镜的一条路径;从样机看,它至少把投影镜头这一环去掉了。

从原理验证走向实际应用,还有几处需要推进。视场 11.7° 是当前波导几何的上限,论文给出的路径是提高玻璃折射率或在出耦合器上加超表面目镜;前者要把高折射率、低吸收、可加工的大面积玻璃做好,后者要把目镜的色散和波导的色散一起设计。5 mm 的波导已经省掉了投影镜头组,但离普通眼镜还有距离;把 SLM 像元从 6.4 μm 缩到 1 μm,可以在同样视场下减小波前尺寸,让波导继续变薄。

全息图生成速度是另一条硬约束。数分钟一幅的 CGH 只能做静态展示;要显示视频,需要把反演做到毫秒级。论文提到用机器学习做实时反演,这条路线能不能在保持图像质量的同时把计算量降下来,还需要实验验证。étendue(光学扩展量)仍受 SLM 空间带宽积限制:视场和出瞳大小不能同时无限增大;论文把 étendue 扩展列为后续工作,说明它还没有和全彩三维波导全息合在一起。

制造和校准同样重要。样机的光栅用电子束光刻制作,面积只有几毫米见方;论文说这套流程可以换成光刻或纳米压印,但大面积均匀性、良率和成本还要验证。相机校准模型把每台样机的误差学进网络里,换一台机器就要重新采数据;如果要把校准变成产线步骤,需要更自动、更省数据的流程。

这些待推进的方向不改变论文已经证明的事:超表面光栅可以在可见光三色上同时做到高透过率和角度均匀性,波导几何可以把三色的出瞳对齐,相机校准的全息模型可以把波导的像差补偿到 PSNR 提高 3–5 dB。把这些环节继续往前推,全彩三维全息 AR 眼镜才有机会从样机变成日常佩戴的显示设备。

参考资料

  • Gopakumar M., Lee G.-Y., Choi S., Chao B., Peng Y., Kim J., Wetzstein G. Full-colour 3D holographic augmented-reality displays with metasurface waveguides. Nature 629, 791–797 (2024). DOI: 10.1038/s41586-024-07386-0。图 1–4 来源,CC BY 4.0;图 1 与图 4 中的部分场景素材(Big Buck Bunny、Durian Open Movie)由 Blender Foundation 以 CC BY 3.0 提供。
  • 同上,补充材料:Supplementary Information for “Full-colour 3D holographic augmented-reality displays with metasurface waveguides”. PDF。
  • Xiong J., Hsiang E.-L., He Z., Zhan T., Wu S.-T. Augmented reality and virtual reality displays: emerging technologies and future perspectives. Light: Science & Applications 10, 216 (2021). DOI: 10.1038/s41377-021-00658-8。
  • OpenStax, Rice University. 25.4 Total Internal Reflection, College Physics 2e. 链接。
  • OpenStax, Rice University. 4.4 Diffraction Gratings, University Physics Volume 3. 链接。
# 光学# 超表面# 全息显示# 增强现实# 波导标签图谱 ↗

DISCUSSION

留言与讨论

0 条留言

分享你的理解,或留下一个值得继续讨论的问题。

还没有留言,欢迎成为第一个参与讨论的人。

CONTINUE EXPLORING

理解一个原理,再追问下一个问题。

阅读更多文献解读文章 →看看相关内容 ↓

按 Esc 或点击背景关闭