过去几十年来，机器学习技术和传感设备的快速发展为物体、动物和人的检测和跟踪开辟了新的可能性。视觉目标的准确和自动化检测，也称为智能机器视觉，可以有多种应用，从增强安全和监视工具到环境监测和医学成像数据分析。
虽然机器视觉工具已经取得了非常有希望的结果，但它们的性能在低照明条件或能见度有限时往往会下降。为了有效地检测和跟踪昏暗目标，这些工具应该能够可靠地从图像中提取边缘和角落等特征，而基于互补金属氧化物半导体(CMOS)技术的传统传感器通常无法捕获这些特征。
南京大学和中国科学院的研究人员最近推出了一种开发传感器的新方法，可以更好地检测复杂环境中的昏暗目标。《自然电子学》中概述的他们的方法依赖于传感器内动态计算的实现，从而将传感和处理功能合并到单个设备中。
“在低对比度光学环境下，弱目标的智能感知一直面临着精度低、鲁棒性差等严峻挑战，”该论文的资深作者梁世军告诉TechXplore。“这主要是由于目标光信号和背景光信号之间的强度差异很小，目标信号几乎淹没在背景噪声中。”
对图像中的目标进行与像素无关的静态光电检测的传统技术依赖于基于CMOS技术的传感器。虽然其中一些技术比其他技术表现更好，但它们通常无法准确区分目标信号和背景信号。
因此，近年来，计算机科学家一直在尝试设计新的原理来开发基于低维材料的硬件，这些材料是使用成熟的生长和处理技术创建的，这些材料也与传统的硅基CMOS技术兼容。这些研究工作的主要目标是在低对比度光学环境中实现更高的鲁棒性和精度。
“我们一直在研究传感器内计算技术，并发表了一些关于光电卷积处理的有趣作品，这些作品本质上是基于静态处理的，”梁解释道。“我们问自己是否可以将动态控制引入到传感器内光电计算技术中，以增强传感器的计算能力。基于这个想法，我们提出了传感器内动态计算的概念，通过对相邻像素进行操作关联方式并展示了其在复杂照明环境中的有前景的应用。”
在他们最近的论文中，FengMiao、Liang和他们的同事介绍了一种新的传感器内动态计算方法，旨在检测和跟踪不利照明条件下的昏暗目标。这种方法依赖于基于石墨烯/锗混合维异质结构的多端子光电器件，这些器件组合起来形成单个传感器。
“通过动态控制光电传感器中相邻器件之间的相关强度，我们可以实现基于局部图像强度梯度的卷积核权重的动态调制，并实现适应图像内容的传感器内动态计算单元，”苗说。
“与设备独立运行的传统传感器不同，我们的传感器内动态计算技术中的设备相互关联以检测和跟踪昏暗目标，这使得能够在复杂照明下超准确和鲁棒地识别对比度变化的目标环境。”
Miao、Liang和他们的同事首次引入了传感器内计算范式，该范式依赖于基于多端混合维异质结构的互连和相邻光电器件之间的动态反馈控制。初步测试发现，他们提出的方法非常有前途，因为它能够在不利的照明条件下实现昏暗跟踪的稳健跟踪。
“与无论光学图像输入如何，内核权重都是恒定的传统光电卷积相比，我们的‘动态内核’权重与局部图像内容相关，使传感器更加灵活、适应性强和智能，”苗说。“动态控制和相关编程还允许将卷积神经网络反向传播方法合并到前端传感器中。”
值得注意的是，Miao、Liang和他们的同事用来实现他们的方法的设备基于石墨烯和锗，这两种材料与传统CMOS技术兼容，并且可以轻松大规模生产。未来，研究人员的方法可以在各种现实环境中进行评估，以进一步验证其潜力。
“这项研究的下一步将是通过大规模片上集成来验证传感器内动态计算的可扩展性，许多工程和技术问题仍需要解决，”梁补充道。
“将探测波长扩展到近红外甚至中红外波段是未来的另一个研究方向，这将拓宽其在低能见度下遥感、医学成像、监控、安防和预警等各种低对比度场景的适用性气象条件。”