Tinycorp.是一家管理神经网络框架tinygrad的初创公司,该公司推出了一款使用六块AMDRadeonRX7900XTX显卡的新型AI系统。这款tinybox售价15,000美元,旨在让人工智能实现PetaFLOPS级性能的普及。
tinybox系统是一款紧凑型强大系统,将六款AMD最快的游戏GPU装入12U机架式机箱中。GPU使用“全结构”PCIe4.0x16链路连接,以确保最大带宽。Tinycorp.表示,它选择RadeonRX7900XTX而不是Nvidia的GeForceRTX4090,因为GPU完全支持LLM所需的点对点互连。
Tom'sHardware报道称,“tinybox可提供高达738FP16TFLOPS(0.738FP16TFLOPS)的性能,以及96GBGDDR6内存,可提供21TB/s的聚合内存带宽。从数字上看,一个tinybox可提供37%的NvidiaH100计算性能(FP16),但内存略多(96GB而不是80GB),峰值内存带宽也高得多(21TB/s而不是3.35TB/s)。”
tinybox包含五个1TBWesternDigitalSN850XSSD(四个用于RAID,一个用于启动),还配有一个用于联网的空16xOCP3.0插槽。它将随Ubuntu22.04和tinygrad框架一起发货,尽管tinycorp很高兴买家可以在AMD硬件上运行其他机器学习框架,例如PyTorch和JAX。正如该公司所说,“您的硬件就是您的硬件……您可以出于任何目的购买它。”
不过,并不是所有人都对tinybox的想法赞不绝口。正如一位Tom'sHardware读者评论的那样,“哦,太棒了,又一家会导致游戏GPU价格飙升的初创公司。”
据报道,tinybox机器的BOM成本约为10,000美元,但该公司将以15,000美元的价格出售,这比售价超过40,000美元的NvidiaH100低得多。到目前为止,该公司表示已收到583份预订单,并计划于4月开始发货。tinybox的预订价格为100美元。
该公司谈到其产品的未来时表示:“我们将突破这款产品所能实现的极限。硬件很可靠,但软件是一段漫长的旅程。我很高兴能与即将成为tinybox所有者的各位一起踏上这段旅程。我们会全力以赴。我们将从这款产品中榨干每一个FLOP。”