四年前，加州大学圣克鲁斯分校的JasonEshraghian开发了一个Python库，它将神经科学与人工智能相结合，创建脉冲神经网络，这是一种机器学习方法，其灵感来自于大脑高效处理数据的能力。现在，他的开源代码库“snnTorch”的下载量已超过100,000次，并用于各种项目，从NASA卫星跟踪工作到优化的半导体公司。
发表在《IEEE会议录》杂志上的一篇论文记录了编码库，但也旨在为学生和任何其他有兴趣学习类脑人工智能的程序员提供坦诚的教育资源。
“这很令人兴奋，因为它表明人们对大脑感兴趣，并且人们已经发现神经网络与大脑相比确实效率低下，”电气和计算机工程助理教授埃什拉吉安说。“人们担心神经网络和大型语言模型[昂贵的电力需求]对环境的影响，因此这是一个非常合理的前进方向。”
建设snnTorch
尖峰神经网络模拟大脑和生物系统，以更有效地处理信息。大脑的神经元处于静止状态，直到有一条信息需要它们处理，这会导致它们的活动激增。同样，尖峰神经网络仅在系统有输入时才开始处理数据，而不是像传统神经网络那样不断处理数据。
埃什拉吉安说：“我们希望充分利用大脑及其功效的所有优势，并将其融入人工智能的功能中，从而实现两全其美。”
在疫情期间，Eshraghian开始用Python构建脉冲神经网络代码，作为一个充满激情的项目，某种程度上也是一种自学Python编码语言的方法。作为一名训练有素的芯片设计师，当他考虑到可以通过共同设计软件和硬件来优化计算芯片的功效以确保它们最好地相互补充时，他对学习编码产生了兴趣。
现在，snnTorch被世界各地成千上万的程序员用于各种项目，支持从NASA的卫星跟踪项目到Graphcore等主要芯片设计商的一切。
在构建Python库的同时，Eshraghian创建了代码文档和教育材料，这在他自学编码语言的过程中是自然而然的。他制作的文档、教程和交互式编码笔记本后来在社区中引起了轰动，并成为许多人学习神经形态工程和尖峰神经网络主题的第一个切入点，他认为这是他的图书馆的主要原因之一变得如此受欢迎。
诚实的资源
埃什拉吉安知道这些教育材料对于不断增长的计算机科学家群体以及对该领域感兴趣的其他人来说非常有价值，因此开始将他的大量文档汇编成一篇论文。
这篇论文是snnTorch代码库的姊妹篇，其结构类似于教程，而且是一篇固执己见的教程，讨论了受大脑启发的深度学习研究人员的不确定性，并提供了对该领域未来的看法。。
Eshraghian表示，这篇论文有意向读者坦白，神经拟态计算领域正在不断发展和不稳定，目的是为了让学生避免在尝试寻找研究界甚至不理解的代码决策理论基础时遇到的挫败感。。
“这篇论文非常诚实，因为学生应得的，”埃什拉吉安说。“我们在深度学习中做了很多事情，但我们只是不知道它们为什么起作用。很多时候我们想要声称我们是有意做的一些事情，而我们发表是因为我们经历了一系列严格的实验，但在这里我们只是说：这是最有效的方法，我们不知道为什么。”
该论文包含代码块，这是典型研究论文不常见的格式。这些代码块有时会附带一些解释，说明某些领域可能非常不稳定，但可以深入了解为什么研究人员认为某些方法可能会成功。
Eshraghian表示，他看到了社区对这种诚实方法的积极接受，甚至被告知该论文正在神经形态硬件初创公司的入职材料中使用。
“我不希望我的研究让人们经历我所经历的同样的痛苦，”他说。
从大脑学习并了解大脑
该论文提供了该领域的研究人员如何克服受大脑启发的深度学习的一些局限性的观点，这些局限性源于这样一个事实：总的来说，我们对大脑如何运作和处理信息的理解相当有限。
埃什拉吉安说，人工智能研究人员若要为他们的深度学习模型转向更加类脑的学习机制，他们需要确定深度学习和生物学之间的相关性和差异。
这些关键区别之一是，大脑无法像人工智能模型那样调查他们输入的所有数据，而是专注于传入的实时数据，这可能为增强能量提供机会效率。
“大脑不是时间机器，它们无法倒退——当你体验这个世界时，你的所有记忆都会被推进，所以训练和处理是耦合在一起的，”埃什拉吉安说。“我在论文中重点关注的事情之一是我们如何实时应用学习。”
论文探索的另一个领域是神经科学中的一个基本概念，即一起放电的神经元是连接在一起的，这意味着当两个神经元被触发同时发出信号时，两个神经元之间的通路就会得到加强。然而，大脑在整个器官范围内学习的方式仍然是个谜。
“齐心协力，连线在一起”的概念传统上被视为与深度学习的模型训练方法(称为反向传播)相对立，但Eshraghian认为这些过程可能是互补的，为该领域开辟了新的探索领域。
Eshraghian也很高兴能够利用大脑类器官(由干细胞培育而成的脑组织模型)来了解更多有关大脑如何处理信息的信息。他目前正在与UCSC基因组研究所Braingeneers小组的生物分子工程研究人员合作，利用类器官模型探索这些问题。
对于加州大学圣克鲁斯分校的工程师来说，这是一个独特的机会，可以将“湿软件”(一个指用于计算研究的生物模型的术语)融入到该领域流行的软件/硬件协同设计范例中。snnTorch代码甚至可以提供一个模拟类器官的平台，而这在实验室中很难维护。
“[Braingeneers]正在构建生物仪器和工具，我们可以使用它们来更好地了解学习如何发生，以及如何转化以使深度学习更加高效，”Eshraghian说。
UCSC及其他地方的脑启发学习
Eshraghian现在正在使用他的图书馆中开发的概念以及最近在加州大学圣克鲁斯分校的神经形态计算课堂上发表的名为“大脑启发的深度学习”的论文。各学科的本科生和研究生正在参加该课程，学习深度学习的基础知识，并完成一个项目，他们为snnTorch编写自己的教程，并可能为snnTorch做出贡献。
埃什拉吉安说：“这不仅仅是通过考试或获得A+走出课堂，而是为某件事做出贡献，并能够说你做了一些切实的事情。”
Eshraghian正在与人们合作，以多种方式推动该领域的发展，从关于大脑的生物学发现，到突破神经形态芯片处理低功耗人工智能工作负载的极限，再到促进协作，以将尖峰神经网络式的计算到其他领域，例如自然物理学。
Discord和Slack频道致力于讨论尖峰神经网络代码，支持跨行业和学术界蓬勃发展的协作环境。Eshraghian最近甚至发现了一份招聘启事，其中将熟练使用snnTorch列为所需素质。