导读 如果你曾经想知道当你将GPU放入NAS并让其运行AI(例如私人ChatGPT)时会发生什么,那么StorageReview会给出令人惊讶的答案。作为项目的基础,...
如果你曾经想知道当你将GPU放入NAS并让其运行AI(例如私人ChatGPT)时会发生什么,那么StorageReview会给出令人惊讶的答案。
作为项目的基础,该网站的JordanRanous使用了QNAP的TS-h1290FX,这是一款搭载AMDEPYC7302PCPU的12NVMeNAS,拥有256GBDRAM、25GbE连接和大量PCI插槽。他之所以选择这款NAS,是因为它支持内部GPU,并且能够承载高达737TB的原始存储。
通过将NvidiaRTXA4000GPU添加到TS-h1290FX并使用虚拟化站(NAS的虚拟机管理程序)对其进行AI配置,Ranous能够无缝运行AI工作流程。
Nvidia的ChatRTX软件包通过基于GPT的LLM和本地独特数据集提供定制体验,从而解决了AI交互方面的问题。这允许快速、情境感知的响应,同时保持隐私和安全。
StorageReview详细介绍了该过程,包括验证硬件兼容性、安装GPU、更新QNAP固件和软件、在虚拟机上安装操作系统,然后配置GPU直通、在虚拟机中安装GPU驱动程序并验证直通功能。
在QNAPNAS上为AI设置GPU的简易性证明,对于希望利用AI力量的企业来说,它可以作为一种经济高效且高效的解决方案。正如Ranous所说,“我们已经证明,在QNAPNAS上添加一个不错的GPU相对简单且成本低廉。我们让A4000发挥作用,其市价约为1050美元,考虑到VirtualizationStation是免费的,而且NVIDIAChatRTX是免费提供的,这个价格还不错。”