随着人工智能的快速发展,自动驾驶、具身智能等无人系统不断在现实场景中推广应用,引发新一轮技术革命和产业变革。视觉感知作为信息获取的核心手段,在这些智能系统中发挥着至关重要的作用。然而,如何在动态、多样、不可预测的环境中实现高效、精准、鲁棒的视觉感知仍是一个亟待解决的难题。
在开放世界场景下,智能系统不仅要处理海量的数据,还要应对各种极端事件,比如突发的危险、隧道口的剧烈光线变化、夜间驾驶场景中的强闪光干扰等。
传统的视觉传感,受限于“功率墙”和“带宽墙”,在处理这些场景时经常会面临失真、失效、延迟高等问题,严重影响系统的稳定性和安全性。
为了应对这些挑战,清华大学类脑计算研究中心(CBICR)专注于类脑视觉传感技术,并提出了一种创新的互补传感范式,包括基于原始的表示和两条互补的视觉通路。
基于该成果的研究论文《一种用于开放世界感知的具有互补通路的视觉》被刊登为2024年5月30日《自然》杂志的封面文章。
该方法受到人类视觉系统基本原理的启发,将视觉信息分解为基于图元的视觉表征,通过组合这些图元来模仿人类视觉系统的特征,形成两条互补且信息完整的视觉感知通路。
基于这一新范式,CBICR研发出全球首款类脑互补视觉天目视觉,该实现了10000帧/秒的高速视觉信息采集,10bit精度,130dB高动态范围,同时降低90%带宽,保持低功耗,不仅突破了传统视觉感知范式的性能瓶颈,还能高效应对各种极端场景,保证系统的稳定性和安全性。
基于天目,团队开发了高性能软件和算法,并在开放环境下运行的车载感知平台上进行了性能验证,在各种极端场景下展现出低时延、高性能的实时感知能力,在智能无人系统领域展现出巨大的应用潜力。
天目芯的成功研发,是视觉感知领域的重大突破,不仅为智能化变革的推进提供了强有力的技术支撑,也为自动驾驶、具身智能等关键应用开辟了新的途径。
结合CBICR在天机等类脑计算、工具链、类脑机器人等成熟的技术基础,天谋科技的加入将进一步完善类脑智能生态系统,有力推动通用人工智能的发展。