英特尔终于“开源”了其NPU加速库，允许开发人员和爱好者调整他们的应用程序，以最好地与英特尔的人工智能引擎配合使用。
英特尔NPU库开源表明专用AI引擎前景广阔
这一消息来自英特尔技术传播者TonyMongkolsmai，他首先披露了该公司新的开源库。
相关报道IntelCorei9-14900KSCPU已在买家手中，6.2GHz@1.5V和直接冷却
通过这一步，NPU加速库将帮助开发者受益于MeteorLake“CoreUltra”系列等CPU阵容中现有的NPU。它基于Python，通过提供高级接口简化了开发，并支持TensorFlow和PyTorch等流行框架，使开发人员能够利用该库的功能来提高AI相关任务的效率。
Tony一直在配备IntelCoreUltraCPU的MSIPrestige16AIEvo笔记本电脑上运行NPU加速库。他可以在机器上运行TinyLlama和Gemma-2b-itLLM模型而不会造成性能中断，这表明英特尔NPU的潜力以及它们如何为开发人员促进边缘AI环境。以下是英特尔开发团队自己对该库的描述：
英特尔NPU加速库是一个Python库，旨在利用英特尔神经处理单元(NPU)的强大功能在兼容硬件上执行高速计算，从而提高应用程序的效率。
为了显着提高图书馆的性能，我们正在努力实现一系列关键功能，包括：
8位量化
4位量化和GPTQ
NPU-Native混合精度推理
Float16支持
BFloat16(大脑浮点格式)
torch.compile支持
LLMMLP水平融合实现
静态形状推断
MHANPU推理
NPU/GPU异构计算
纸
通过Github英特尔
很高兴看到NPU加速库的开源，因为它最终将增强在英特尔专用AI引擎上运行的AI应用程序的实现。看看我们在此类引擎上看到什么样的发展将会很有趣，因为正如托尼本人所说，对于消费者和开发人员来说，有很多东西。