←

知识条目

🌙
2026-09-25 · 动态 · PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
2026-09-25
🔗 查看原文 ← 返回知识库
【发生了什么】是石科技自研的Meta-Infer推理引擎,在8张PCIe-Only显卡上运行DeepSeek-V4.1-Flash,输入吞吐从社区基线1932 tok/s提升至13274 tok/s,整体提升6.87倍,并支持1M超长上下文;GLM5.3吞吐提升1.92倍,P95首Token时延从141.6秒降至46.6秒。 【为什么值得关注】该方案不改模型权重与结构,仅靠内核补齐、算子与通信重构、并行容量调优、缓存复用四项软件优化,就在DeepSeek-V4-Flash、GLM5.3、MiniMax H3视频生成及国产GPU上复现增益;折算后约1.5台6000D整机可对应1台B300的文生视频吞吐。 【对我们的意义】若团队手中已有PCIe显卡或国产卡,先别急着加购高端GPU:可要求部署方核查算子是否静默回退、通信参数是否沿用NVLink默认值,并按Prefill/Decode分阶段调优并行与KV缓存,把现有整机吞吐拉近官方标称水平。 ── 💡 对你的工作:AI 可速读财报/公告,尽调初筛提效。 【原文】查看原文 →