中国清华大学的研究人员开发出一种全模拟光电芯片，结合光学和电子计算，实现超快、高能效的计算机视觉处理，超越数字处理器。
计算机视觉是一个不断发展的人工智能领域，致力于使机器能够解释和理解来自世界的视觉信息，类似于人类感知和处理图像和视频的方式。
它涉及图像识别、物体检测和场景理解等任务。这是通过将环境中的模拟信号转换为数字信号以供神经网络处理来完成的，使机器能够理解视觉信息。然而，这种模数转换会消耗大量时间和能量，限制了实际神经网络实现的速度和效率。
正如研究中详细介绍的，所提出的全模拟光电芯片通过将光子和电子计算结合在单个芯片中来解决这一限制，为高速和节能的视觉数据处理提供了突破性的解决方案。该研究的结果发表在《自然》杂志上，并附有总结该工作的研究简报。
该研究的作者之一吴嘉敏博士向Phys.org解释了为什么他们专注于硬件方面，他说：“我们的团队受到增强人工智能进步对现实世界影响的激励，长期以来一直致力于为人工智能执行开发高效的硬件解决方案。”
两全其美
在研究中结合光学和电子模拟计算模块是一个关键方面，因为它使研究人员能够以全模拟方式利用光(以光子形式)和电子的优势。
在此过程中，研究人员解决了光子(基于光)计算的实际局限性，例如光学非线性的复杂实现、ADC的巨大功耗以及容易受到噪声和系统错误的影响。
“首先使用实现衍射神经网络的光学计算模块以高度并行的方式提取信息并降低数据维度，”吴博士解释道。这个过程非常高效，并且可以从高分辨率光场中提取信息。
“然后光电二极管阵列接收光学计算模块的输出，以产生光感应光电流。这些直接用于电子模拟领域的进一步计算，”他继续说道。这种无缝转换允许创建复杂的网络结构，从而提高整体任务性能。
该模块进一步分析光产生的电流。值得注意的是，它不需要将模拟信号转换为数字信号。电子电路的灵活性使得自适应和可重新配置的训练方法成为可能，这对于现实世界的性能改进至关重要。
研究人员成功设计了一种集成光电处理器，称为“电子与光计算相结合的全模拟芯片”(ACCEL)。
“利用模拟电子领域中光电效应和数据处理的固有非线性，无需进行模数转换，所提出的全模拟光电芯片实现了比现有技术高几个数量级的能源效率和计算速度。最先进的数字处理器，”吴博士说。
进行测试
研究人员进行了一系列测试，以测试ACCEL在各种任务中的分类准确性，包括识别手写数字、区分衣物以及解读草书。
它展示了在72纳秒内对高分辨率图像进行分类的能力，这一壮举突破了传统处理的限制。令人惊讶的是，ACCEL的能耗比顶级GPU低400万倍，尽管速度快了3,000多倍。
但ACCEL芯片并不止于此。它的适应性扩展到非相干光源，使其成为一种多功能解决方案，其应用超出预期。
“与高性能GPU相比，我们的全模拟光电芯片速度提高了三个数量级，能效提高了六个数量级。这使其适合工业装配线和自动驾驶等应用中的高速处理。”
“此外，由于其卓越的计算效率和最低的能源需求，我们的芯片可以为便携式系统带来一个新时代，例如用于健康监测的可穿戴设备，该系统传统上由电池供电，并且设备的使用寿命已延长由于能源有限，这受到了严重的限制。”吴博士说。
未来的工作
研究人员承认，虽然全模拟光电器件表现出高功率和高效率，但仍有改进的空间。
“虽然ACCEL实现了较快的计算速度和较高的能效，但该芯片的处理能力仍有提升空间。”吴博士解释道。
未来，研究人员希望通过光电计算探索更高效的架构，以处理更广泛的计算机视觉任务，并将这项技术扩展到新的人工智能算法，如大语言模型(LLM)。
这项正在进行的研究旨在突破模拟光子技术的界限，以实现未来的进步。