服务项目在线演示资讯·方案免费试用关于我们合作流程服务保障常见问题
首页/资讯·方案/行业资讯

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

行业资讯志权软件工作室7 次阅读来源:IT之家

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行…

核心信息

  • IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。
  • 在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元 (现汇率约合 63,239 元人民币) 。
  • 这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。
  • 发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

这对做企业的意味着什么

模型能力每几个月就上一台阶,但企业内部的流程一年都未必改一次。所以不要为了追新模型去重构系统,把模型调用做成可替换的一层接口,换模型时只改一个配置项,这才是长期省钱的架构。

AI 工具真正的价值不在「能写一段话」,而在把重复的判断标准化。中小企业落地时最省事的切入点是客服问答、单据识别、报表口径解释这三类——它们有标准答案、有历史数据、出错代价可控,做出来当天就能减人工。

落地建议

源码交付是我们的默认做法。你拿到的不只是能跑的程序,还包括数据库结构、部署文档和一份「怎么改」的说明,这样以后换人维护不用从零猜。

信息来源:IT之家,查看原文。本文由志权软件工作室摘要整理并附行业分析。

需要把这类东西做成能用的系统?

把你现在怎么做的、每天花多少时间、卡在哪一步说给我们,免费给一个技术方案判断,不合适也会直说。

孔老师微信二维码
微信扫码,直接说需求手机上长按识别也可以。软件定制、网站、小程序、数据采集都能聊,看到了都会回。