首页 互联网 > 内容

让ChatGPT在NAS上运行其实是值得探索的

时间:2024-07-11 10:27:39 来源:
导读 如果你曾经想知道当你将GPU放入NAS并让其运行AI(例如私人ChatGPT)时会发生什么,那么StorageReview会给出令人惊讶的答案。作为项目的基础,...

如果你曾经想知道当你将GPU放入NAS并让其运行AI(例如私人ChatGPT)时会发生什么,那么StorageReview会给出令人惊讶的答案。

作为项目的基础,该网站的JordanRanous使用了QNAP的TS-h1290FX,这是一款搭载AMDEPYC7302PCPU的12NVMeNAS,拥有256GBDRAM、25GbE连接和大量PCI插槽。他之所以选择这款NAS,是因为它支持内部GPU,并且能够承载高达737TB的原始存储。

通过将NvidiaRTXA4000GPU添加到TS-h1290FX并使用虚拟化站(NAS的虚拟机管理程序)对其进行AI配置,Ranous能够无缝运行AI工作流程。

Nvidia的ChatRTX软件包通过基于GPT的LLM和本地独特数据集提供定制体验,从而解决了AI交互方面的问题。这允许快速、情境感知的响应,同时保持隐私和安全。

StorageReview详细介绍了该过程,包括验证硬件兼容性、安装GPU、更新QNAP固件和软件、在虚拟机上安装操作系统,然后配置GPU直通、在虚拟机中安装GPU驱动程序并验证直通功能。

在QNAPNAS上为AI设置GPU的简易性证明,对于希望利用AI力量的企业来说,它可以作为一种经济高效且高效的解决方案。正如Ranous所说,“我们已经证明,在QNAPNAS上添加一个不错的GPU相对简单且成本低廉。我们让A4000发挥作用,其市价约为1050美元,考虑到VirtualizationStation是免费的,而且NVIDIAChatRTX是免费提供的,这个价格还不错。”

标签:
猜你喜欢
最新文章