←

知识条目

🌙
2026-09-24 · 动态 · 让Token生产更高效:异构混推的关键技术演进与创新实践
2026-09-24
🔗 查看原文 ← 返回知识库
【发生了什么】商汤大装置资深技术专家罗伟在2026全球AI芯片峰会上披露,其日均Token服务量已从2月的0.46万亿增至8月的4.5万亿,并分享了以"横向编排+纵向优化"为核心的异构混推架构,通过统一资源画像和全生命周期管控实现不同芯片的动态P/D角色切换。 【为什么值得关注】商汤正从固定P/D配比转向Prefill Pool与Decode Pool的动态资源池化,并规划将Encoder、Attention、FFN等模块拆分为独立资源池,以应对Agent时代长上下文、多轮对话带来的KV Cache增长和突发流量波动,目标是在保障SLO前提下提升有效吞吐、降低单位Token成本。 【对我们的意义】若团队正在自建或租用推理算力,可参考其"按瓶颈动态调整芯片角色"而非固定绑定的做法,在长输入场景临时扩容Prefill节点、长输出场景扩容Decode节点,避免局部排队;同时应建立覆盖计算吞吐、KV Cache容量与带宽的统一资源画像,让调度系统据此路由请求,而非仅按芯片型号静态分配。 ── 💡 对你的工作:AI 可自动整理监理日志、规范条文一问即答。 【原文】查看原文 →