12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元
IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行…
核心信息
- IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。
- 在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元 (现汇率约合 63,239 元人民币) 。
- 这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。
- 发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。
这对做企业的意味着什么
模型能力每几个月就上一台阶,但企业内部的流程一年都未必改一次。所以不要为了追新模型去重构系统,把模型调用做成可替换的一层接口,换模型时只改一个配置项,这才是长期省钱的架构。
AI 工具真正的价值不在「能写一段话」,而在把重复的判断标准化。中小企业落地时最省事的切入点是客服问答、单据识别、报表口径解释这三类——它们有标准答案、有历史数据、出错代价可控,做出来当天就能减人工。
落地建议
源码交付是我们的默认做法。你拿到的不只是能跑的程序,还包括数据库结构、部署文档和一份「怎么改」的说明,这样以后换人维护不用从零猜。
信息来源:IT之家,查看原文。本文由志权软件工作室摘要整理并附行业分析。

微信扫码,直接说需求手机上长按识别也可以。软件定制、网站、小程序、数据采集都能聊,看到了都会回。