DeepSeek开源生产级推理框架DeepInfer

DeepSeek于10月20日宣布开源其内部生产级推理框架DeepInfer，整合分布式推理、投机解码等技术，目前已兼容英伟达SM100 GPU和华为昇腾950 NPU。彭博社称，推理技术通常被AI公司视为核心竞争力而较少公开，此次开源让外界得以了解DeepSeek如何压低运行成本并保持模型性能。 不过，该框架文档提到，构建完整服务还需KV缓存系统、Prefill/Decode解耦及数据并行副本间负载均衡等功能，这些并未完全包含在本次开源项目中。 海外开发者对此反应积极，有印度博主以“Real OPEN AI”评价DeepSeek。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。