在英特尔愿景2024大会上，英特尔推出了Gaudi3人工智能加速器，该公司将其定位为NvidiaH100的直接竞争对手，声称它在领先的GenAI模型上提供更快的训练和推理性能。
预计Gaudi3在各项任务上的表现将比H100高出50%，包括训练时间、推理吞吐量和功率效率。
据报道，Gaudi3在Gaudi2AI加速器的性能和效率基础上，与前代产品相比，为BF16提供了4倍的AI计算能力、1.5倍的内存带宽和2倍的网络带宽，可实现大规模系统扩展。
Gaudi3采用5nm工艺制造，具有64个AI定制可编程TPC和8个MME，可进行64,000次并行操作。它提供128GB内存(HBM2e不是HBM3E)、3.7TB内存带宽和96MB板载SRAM，可高效处理大型数据集。它配备24个集成200Gb以太网端口，可实现灵活的系统扩展和开放标准网络。
英特尔声称，Gaudi3在各种模型上都优于H100，包括在Llama7B和13B参数以及GPT-3175B模型上的训练时间缩短了50%。此外，在Llama7B和70B参数以及Falcon180B模型上，推理吞吐量提高了50%，能效提高了40%。英特尔表示，Gaudi3在Llama7B和70B参数以及Falcon180B参数模型上的推理速度也比H200高出30%。由于这些是英特尔基准测试，因此请谨慎对待。
Tom'sHardware指出：“归根结底，主宰当今AI训练和推理工作负载的关键在于将加速器扩展到更大集群的能力。英特尔的Gaudi采用的方法与Nvidia即将推出的B200NVL72系统不同，它在Gaudi3加速器之间使用快速的200Gbps以太网连接，并将服务器与叶子和主干交换机配对以创建集群。”
英特尔执行副总裁兼数据中心和人工智能集团总经理JustinHotard表示：“在不断发展的人工智能市场格局中，当前产品之间存在巨大差距。来自客户和更广泛市场的反馈凸显了人们对更多选择的渴望。企业会权衡可用性、可扩展性、性能、成本和能源效率等因素。英特尔Gaudi3脱颖而出，成为GenAI的替代品，将价格性能、系统可扩展性和价值实现时间优势完美结合。”