【发生了什么】是石科技自研的Meta-Infer推理引擎,在8张PCIe-Only显卡上运行DeepSeek-V4.1-Flash,输入吞吐从社区基线1932 tok/s提升至13274 tok/s,整体提升6.87倍,并支持1M超长上下文;GLM5.3吞吐提升1.92倍,P95首Token时延从141.6秒降至46.6秒。
【为什么值得关注】该方案不改模型权重与结构,仅靠内核补齐、算子与通信重构、并行容量调优、缓存复用四项软件优化,就在DeepSeek-V4-Flash、GLM5.3、MiniMax H3视频生成及国产GPU上复现增益;折算后约1.5台6000D整机可对应1台B300的文生视频吞吐。
【对我们的意义】若团队手中已有PCIe显卡或国产卡,先别急着加购高端GPU:可要求部署方核查算子是否静默回退、通信参数是否沿用NVLink默认值,并按Prefill/Decode分阶段调优并行与KV缓存,把现有整机吞吐拉近官方标称水平。
──
💡 对你的工作:AI 选题、写文案、读评论区——营销全链可用。
【原文】
查看原文 →