ToF技术开创机器人和元宇宙的未来时代

这么多年来，《星球大战》系列电影一直震撼着无数观影者的心灵：不论是绝地武士不顾险恶与邪恶势力斗争，亦或是抵抗组织面对压迫时反抗的勇气和牺牲，以及最后通过出色的战略赢得胜利的过程……除此之外，电影中精彩绝伦的光剑决斗，还有R2-D2、C-3PO和BB-8等机器人的行动，都令人印象深刻。如果没有这些机器人，《星球大战》可能无法拥有一个如此惊人的结局。

机器人和元宇宙是2022年国际消费类电子产品展览会（CES，International Consumer Electronics Show）¹⁾上最热门的话题之一。时至今日，替我们工作的非人形机器已十分常见，如送货机器人²⁾、自动驾驶汽车、扫地机器人和空中飞行的无人机等。考虑到CES的影响，我们可能即将迎来一个新时代：每个家庭都至少拥有一个如同《星球大战》等科幻电影场景中的机器人。

另一方面，在新冠疫情期间无接触式服务持续加速发展，因此将虚拟与现实融合的元宇宙服务正不断普及，人们对此类服务的需求也呈指数级增长。许多人开始使用增强现实（AR，Augmented Reality）或虚拟现实（VR，Virtual Reality）³⁾技术。不久后，AR和VR设备将会像智能手机一样，被我们随身携带。这将开启一个新时代——各类服务将随时随地唾手可得，这意味着我们不再需要特地造访银行或者制造商，更能在不进入工厂的情况下实现产品的维护。

图1：Ocado送货机器人（来源：路透社）

下载图片

机器之眼（机器视觉）

在半导体处理和图像信号处理（ISP，Image Signal Processing）技术的惊人进步、价格的下降和出色的高分辨率高性能的支持下，互补金属氧化物半导体（CMOS，Complementary Metal-Oxide Semiconductor）图像传感器（或CIS, CMOS Image Sensor）技术成为了智能手机等各种设备的“眼睛”。像素是决定相机性能的因素，而围绕像素的竞争，现已将摄像头技术推动至6亿像素这一超越人眼的水平。

但是，高分辨率图像是否必然适合用于机器视觉呢？对于负责安全保障的尖端机器的眼睛来说，即使是最清晰的二维（2D）图像数据，也无法满足它们代替人类工作时的需求。这样的机器可能无法像R2-D2一样，在战术行动中执行任务。但对于自动驾驶汽车和无人机来说，在高速行驶过程中，需要准确识别刹车时刻；对于面部识别设备来说，需要精确扫描人脸，而不是平面图像；对于AR设备来说，需要实时进行大空间扫描，以实现增强现实。这些机器都不仅需要2D的图像数据，还需要三维（3D）的技术支撑。一台机器可以通过超声波或激光设备等辅助工具，在没有摄像头的情况下通过复杂的计算过程获得3D数据。但是，带有如此众多附加部件的机器，在设计以及价格上都会被消费者拒绝。

图2：机器之眼的必要特征

下载图片

在双眼和大脑的配合下，人们可以立体地观察物体并识别深度和距离。通过类似的机制，机器也可以通过三角测量法，识别多维物体并测量距离，例如立体视觉便是采用两个摄像头和一个处理器来达到识别效果。然而，这样的机制也存在缺陷，如计算复杂、测量平面距离时缺乏准确性，以及在相对较暗的地方准确性低等，这些问题缩小了此类机制的应用范围。最近，飞行时间法（ToF，Time-of-Flight ）作为克服这些缺点的一种替代方法，已经得到了实际应用。ToF是一种通过计算光从物体上反射回来的时间测量距离的简单方法。这种方法运行起来简易而快速，还有一个优点：由于它使用独立的光源，无论光照环境如何，都能准确地测量距离。

ToF：通过测量发射光的往返时间获取距离

立体视觉：两个光学系统从相对于同一基线的两个不同点观察同一目标

图3：立体视觉和ToF识别物体方法的比较

下载图片

飞行时间法

ToF可被分为直接ToF（d-ToF，direct ToF ）和间接ToF（i-ToF，indirect ToF）两种类别，前者是根据光从物体上反射后返回的时间来测量距离，后者则是利用返回光的相位差来计算距离。SK海力士开发这两种ToF技术，以便在各种产品中加以利用。说不定，未来的机器人会有一只眼睛使用i-ToF来识别近距离的物体，而另一只眼睛使用d-ToF来探索远处。

而本文的目的，在于阐明SK海力士的i-ToF技术。

图4：间接ToF和直接ToF的比较分析

下载图片

i-ToF方法以一个像素内两个以上不同存储器中积累的电荷比例来计算与光源的相位差，并依此测量距离[1, 2]。与d-ToF相比，这种机制在测量距离方面有一定局限性，因为当光从远处返回时，由于强度减弱，可分离的信号较少。然而，与d-ToF相比，它的优点则是分辨率更高，由于其电路简单，像素可以自己分离信号，容易缩小像素。为了弥补i-ToF的限制，并最大限度地发挥其优势，大量研究现正已以提高信噪比（SNR， Signal to Noise Ratio）、增加红外光源的量子效率（QE，Quantum Efficiency）或采用技术去除背景光（BGL，Background Light）为目的而展开。

目前的i-ToF像素结构大体上可以分为栅极结构和扩散结构。栅极结构方法通过向光栅施加调制电压⁴⁾，产生电势差⁵⁾，以收集周围电子 [2]。而扩散结构作为电流辅助光子解调器（CAPD，Current Assisted Photonic Demodulator），利用对基底施加调制电压产生的电流来收集电子[3]。与前者相比，后者可以快速检测到在更深区域产生的电子，使传输效率更高，但由于它使用多数载劣电流，因此需要更大的功耗[4]。此外，随着像素变小以及高分辨率导致的像素数量增加，其功耗亦进一步增大[5]。

为了最大限度地发挥CAPD的优势和减少其局限性，SK海力士开发了10um QVGA⁶⁾级和5um VGA级[6]像素技术，采用了一种名为VFM（Vertical Field Modulator）的新结构。接下来，让我们深入了解一下VFM技术及其优势。

VFM像素技术的优势

判别一个优秀的距离测量传感器有各种各样标准，但首要的是，它应能准确地检测距离，并通过较低的功耗来减少发热问题。换句话说，一个好的传感器必须以较高的效率和较低的功耗快速检测信号，同时它还必须根据相位差准确地分离信号。

1. SK海力士的CIS背照式（BSI，Back Side Illumination）技术和组合

与CIS一样，背照式⁷⁾处理给ToF的设计或性能带来了很多优势。用于计算飞行时间的光源为红外线（IR，Infrared Ray），因为它必须是人眼不可见的。而且，即使在低光环境下，它也能计算出准确的距离。与可见光相比，红外线的波长较长，这意味着如果不使用比CIS更厚的晶圆，大部分光线就会被穿透，导致像素中产生的信号水平极低。但这并不意味着厚度可以无限增长。要快速收集在较深区域产生的电子是很困难的，就像深海捕鱼比在捕鱼点捕鱼更困难一样。当应用背照式而不是前照式（FSI，Front Side Illumination）⁸⁾时，信号能够快速地被检测到，因为背照式让光收集距离更近，其中起到钓鱼线作用的电场，亦通过从相反的一面投射光而变得更强（图5）。

图5. 前照式和背照式的比较（渗透率和每个厚度的光收集）

下载图片

i-ToF的性能取决于它根据电荷积聚率分离信号的能力。在这方面，前照式的传感器可能会造成距离上的误差，因为光线经过像素表面时，忽略相位差直接进入检测节点的可能性较大。这就好比在课堂点名时教室中还有其他班级的学生一样。在前照式中，为确保更高的填充因子⁹⁾，金属布线也有很多限制，而背照式则使金属布线有了更广泛的选择，就如从地下汲水要比在茂密的森林中砍树收集雨水更有效（图6）。

图6：不同照明方法的i-ToF电荷积累率（以地下汲水和砍伐茂密森林中的树木类比）

下载图片

背照式这一优势可以通过与SK海力士的CIS背照式技术结合来实现，SK海力士拥有创造小于1微米（千分之一毫米）的像素的技术。

2. 小透镜阵列（SLA，Small Lens Array）& 沟槽结构光波导和量子效率(QE)

根据使用电荷积累率的i-ToF机制，我们需要最大水平的信号来获得更远距离的准确距离数据。因此，红外波长范围¹⁰⁾ 的高QE¹¹⁾是必不可少的。
如上所述，由于红外光源的高穿透力，其光强度比可见光弱，所以光收集的深度很深。一种应对方法是有意在高处形成微透镜结构（根据相机镜头下像素的大小和数量排列的小尺寸透镜），以实现更好的光收集，但由于技术限制，高度是有限的。SK海力士则采取了一种不同的方法来克服这一缺陷。通过在每个像素上放置几个小于像素大小的镜头，该方法增加了光收集深度，从而增加了接收到的光线总量。

此外，SK海力士还通过在背面挖出特殊的图案结构，使入射光线触达结构并被其反射，延长了光线传输路径，并将光线聚焦到调制区域，从而降低光损失率，并提高了同一光强度下的传输效率，达到一石二鸟的效果。实上，这证实了在940nm光源下，QE增加了一倍多。在更高的QE下，与以前的方法相比，它成功地将实际距离和测量距离之间的误差降低了将近55%。

图7：SLA（左）和沟槽结构光波导（右）

下载图片

3. 确保低功耗、高性能

除去光源的功耗，ToF传感器运作时在调制信号的电路中功耗最大。调制驱动电路的功率与流过电路板的电流成正比。换句话说，我们可以通过减少基底电流来降低功耗。另外，准确和精确的距离测量需要更短的调制周期和快速的信号检测。车辆（光子）必须通过踩油门来加速，以便快速穿过相同的距离（硅厚度），这就会消耗许多的燃料（或电流）。换一个例子说，从深井中汲水需要很大的力量来抬起滑轮。但是，如果你能用泵把地下水抽上来呢？你可以不费吹灰之力，只需打开水龙头，就能抽出所需的水。

VFM方法通过优化像素离子植入的条件和结构来增加耗尽区，使其能够发挥类似泵的作用，并加强垂直电场。因此，电场的力量被加到电流上，能有效地收集电子，同时还能在电流较小的情况下实现快速收集，增强功耗实力。大量的实验证明，当电流增加时，VFM像素的性能就会损耗，这意味着它是一种更适于低功率的结构，而电流也不再是一个重要的因素。换句话说，该方法通过能够实现强大垂直电场的设计来控制电流，使其仅仅起到引导作用，进而提高了像素的性能。5um的VGA级ToF传感器与QVGA级ToF传感器相比，即使像素尺寸更小、分辨率更高，每个像素的电流却减少了，其功耗的增加也近乎为零。

图8：作为ToF传感器，VFM结构具有更高效的功耗

下载图片

总结

SK海力士在开发ToF技术的同时，通过提供密切的技术支持和传感器，使各种模块制造商进入广泛的应用市场，为创造经济价值和社会价值作出贡献。

未来，我们将能使用AR/VR设备环游世界，借助无人机运送包裹，让家庭机器人将包裹带到我们身边，请扫地机器人为我们清洁打扫，甚至能坐在通过面部识别发动的自动驾驶汽车中观看新闻。我们期待这些场景都可以在SK海力士的深度解决方案技术即将开辟的新世界中得以实现。

脚注

¹⁾国际消费类电子产品展览会（CES，International Consumer Electronics Show）：举办于美国拉斯维加斯，是世界上最大的技术展会；其展出品类不仅是家用电器，更有包括机器人和移动工具在内的所有行业的电子新技术
²⁾送货机器人（Delivery robots）：目前作为应用公司试点项目的一部分，或在一些便利店运营
³⁾AR：增强现实（Augmented Reality）；VR：虚拟现实（Virtual Reality）。
⁴⁾调制电压：切换像素节点以分离信号的电压
⁵⁾电势差：在电场中不同电位置的能量差，电荷从低能量点移动到高能量点
⁶⁾QVGA：指单个像素分辨率（320×240），而VGA是640×480
⁷⁾背照式：一种处理方法，使CIS从上到下按微透镜-彩色滤光镜-光电二极管-金属的顺序排列，其采集效率比使用前照式+导光板要高得多
⁸⁾前照式：一种处理方法，使CIS从上到下按微透镜-彩色滤光镜-金属-光电二极管的顺序排列
⁹⁾填充因子：传感器中每个像素的整个区域中，激活区域（光电二极管）的比例
¹⁰⁾QE：量子效率，对入射光子和转换电子的衡量
¹¹⁾红外波长范围：波长在750nm~1mm之间，ToF一般需要850nm/940nm的波长范围

参考文献

^[1]R. Lange, P. Seitz, A. Biber, and R. Schwarte, “Time-of-flight range imaging with a custom solid-state image sensor,” in Proc. SPIE, Laser Metrology and Inspection, Munich, Germany, 1999, vol. 3823.
^[2]David Stoppa et al., “A Range Image Sensor Based on 10-um Lock-In Pixels in 0.18um CMOS Imaging Technology,” IEEE J. solid-state circuit, vol. 46, no. 1, pp. 248-258, Jan. 2011.
^[3]Cyrus S. Bamji et al., “A 0.13um CMOS System-on-chip for a 512×424 Time-of-Flight Image Sensor With Multi-Frequency Photo-Demodulation up to 130MHz and 2GS/s ADC,” IEEE J. solid-state circuit, vol. 50, no. 1, pp. 303-319, Jan. 2015.
^[4]Yuich Kato et al., “320×240 Back-Illuminated 10-um CAPD Pixels for High-Speed Modulation Time-of-Flight CMOS Image Sensor,” IEEE J. Solid-State Circuits, VOL. 53, NO. 4, pp1071-1078, Apr. 2018.
^[5]L. Pancheri et al., “Current Assisted Photonic Mixing Devices Fabricated on High Resistivity Silicon,” SENSORS, IEEE, pp981-983, Oct. 2008.
^[6]Y. Ebiko et al., “Low power consumption and high resolution 1280×960 Gate Assisted Photonic Demodulator pixel for indirect Time of flight,” 2020 IEEE International Electron Devices Meeting (IEDM), 2020, pp. 33.1.1-33.1.4.
^[7]JH. Jang et al., “An Ultra-low current operating 5-μm Vertical Field Modulator Pixel for in-direct Time of Flight 3D Sensor.,” 2020 International Image Sensor Workshop (IISW), Sep. 2020.

免责声明：图文信息来源于网络，除原创作品，本站所使用的图文等相关内容，属原权利人所有，并不代表本站支持赞同该观点，若有异议或侵权，请联系我们即时处理。