从相机到自动驾驶汽车，当今的许多技术都依赖人工智能从视觉信息中提取含义。当今的人工智能技术以人工神经网络为核心，大多数时候我们可以相信这些人工智能计算机视觉系统会按照我们的方式看待事物，但有时它们会出现问题。根据麻省理工学院和IBM研究科学家的说法，改善计算机视觉的一种方法是指导他们所依赖的人工神经网络故意模仿大脑生物神经网络处理视觉图像的方式。
麻省理工学院QuestforIntelligence项目主任兼MIT-IBMWatsonAI实验室成员、麻省理工学院教授JamesDiCarlo领导的研究人员通过训练计算机视觉模型像人类和其他灵长类动物大脑的一部分一样工作，使其变得更加强大。依靠进行物体识别。今年5月，在国际学习表征会议上，该团队报告称，当他们使用大脑下颞叶(IT)皮层的神经活动模式训练人工神经网络时，该人工神经网络比传统神经网络能够更稳健地识别图像中的对象。缺乏神经训练的模型。该模型对图像的解释更接近人类所看到的，即使图像包含轻微的扭曲，使任务变得更加困难。
比较神经回路
许多用于计算机视觉的人工神经网络已经类似于处理人类和其他灵长类动物视觉信息的多层大脑回路。像大脑一样，它们使用类似神经元的单元一起工作来处理信息。当它们接受特定任务的训练时，这些分层组件会集体并逐步处理视觉信息以完成任务，例如确定图像描绘了一只熊、一辆汽车或一棵树。
迪卡洛和其他人之前发现，当这种深度学习计算机视觉系统建立有效的方法来解决视觉问题时，它们最终会得到与我们大脑中处理视觉信息的神经电路类似的人工电路。也就是说，它们是灵长类动物和人类视觉神经机制的令人惊讶的良好科学模型。
这种相似性正在帮助神经科学家加深对大脑的理解。通过展示处理视觉信息以理解图像的方式，计算模型提出了关于大脑如何完成相同任务的假设。随着开发人员不断完善计算机视觉模型，神经科学家在自己的工作中找到了可以探索的新想法。
“随着视觉系统在现实世界中表现得越来越好，其中一些系统的内部处理变得更加像人类。从理解生物学的角度来看，这很有用，”迪卡洛说，他也是脑和认知科学领域的专家，也是麦戈文脑研究所的研究员。
设计一个更像大脑的人工智能
尽管计算机视觉系统的潜力很大，但它还不是人类视觉的完美模型。迪卡洛怀疑改善计算机视觉的一种方法可能是将特定的类脑特征融入到这些模型中。
为了测试这个想法，他和他的合作者使用先前从猴子IT皮质中的视觉处理神经元收集的神经数据构建了一个计算机视觉模型，该神经元是灵长类动物腹侧视觉通路的关键部分，涉及物体识别，而动物则观看各种图像。更具体地说，JoelDapello，哈佛大学研究生，前MIT-IBMWatsonAI实验室实习生;KohitijKar，约克大学助理教授兼加拿大研究主席(视觉神经科学)，麻省理工学院访问科学家;与大卫·考克斯合作，IBM研究中心AI模型副总裁、IBMMIT-IBMWatsonAI实验室主任;IBM研究院和麻省理工学院的其他研究人员要求人工神经网络模拟这些灵长类视觉处理神经元的行为，同时该网络学会识别标准计算机视觉任务中的对象。
“实际上，我们对网络说，‘请解决这个标准的计算机视觉任务，但也请使你的内部模拟神经层之一的功能尽可能类似于相应的生物神经层的功能，’”迪卡洛解释道。“我们要求它尽可能地做好这两件事。”他说，这迫使人工神经回路找到一种与标准计算机视觉方法不同的方式来处理视觉信息。
在用生物数据训练人工模型后，迪卡洛的团队使用计算机视觉的标准方法，将其活动与没有神经数据训练的类似大小的神经网络模型进行了比较。他们发现，按照指示，新的生物信息模型IT层更适合IT神经数据。也就是说，对于每张测试的图像，模型中的人工IT神经元群体的反应与相应的生物IT神经元群体的反应更加相似。
研究人员还发现，模型IT也与从另一只猴子收集的IT神经数据更加匹配，尽管该模型从未见过来自该动物的数据，甚至是根据该猴子的IT对新图像的反应来评估比较。这表明该团队新的“神经对齐”计算机模型可能是灵长类IT皮层神经生物学功能的改进模型——这是一个有趣的发现，因为之前尚不清楚目前可以从灵长类动物视觉系统能够直接指导模型开发。
有了新的计算机模型，团队询问“IT神经对齐”过程是否也会导致模型的整体行为性能发生任何变化。事实上，他们发现神经对齐模型的行为更像人类——它往往能成功地对图像中的物体进行正确分类，而人类也能成功分类，而当人类也失败时，它往往会失败。
对抗性攻击
该团队还发现，神经对齐模型更能抵抗开发人员用来测试计算机视觉和人工智能系统的“对抗性攻击”。在计算机视觉中，对抗性攻击会在图像中引入微小的扭曲，从而误导人工神经网络。
“假设你有一个模型识别为猫的图像。因为你了解模型的内部工作原理，所以你可以在图像中设计非常小的变化，使模型突然认为它不再是猫，”迪卡洛解释道。
这些微小的扭曲通常不会欺骗人类，但计算机视觉模型却难以应对这些改变。一个人看到这只稍微扭曲的猫仍然可靠而有力地报告说它是一只猫。但标准的计算机视觉模型更有可能将猫误认为是狗，甚至是树。
迪卡洛说：“我们的大脑处理图像的方式肯定存在一些内部差异，导致我们的视觉更能抵抗此类攻击。”事实上，该团队发现，当他们使模型在神经上更加一致时，它就会变得更加稳健，在面对对抗性攻击时能够正确识别更多图像。迪卡洛说，该模型仍然可能被更强大的“攻击”所愚弄，但人类也可以。他的团队现在正在探索人类对抗鲁棒性的极限。
几年前，迪卡洛的团队发现，他们还可以通过设计人工网络的第一层来模拟大脑中的早期视觉处理层，从而提高模型对对抗性攻击的抵抗力。下一步的一个关键步骤是结合这些方法——制作在多个视觉处理层同时进行神经对齐的新模型。
这项新工作进一步证明神经科学和计算机科学之间的思想交流可以推动这两个领域的进步。“每个人都可以从自然/生物智能和人工智能之间令人兴奋的良性循环中获益，”迪卡洛说。“在这种情况下，计算机视觉和人工智能研究人员获得了实现鲁棒性的新方法，神经科学家和认知科学家获得了更准确的人类视觉机械模型。”