DeepSeek开源生产级推理框架DeepInfer,海外开发者称其"真正的OpenAI"
DeepSeek于10月20日宣布开源内部生产级推理框架DeepInfer,该框架整合分布式推理、投机解码等技术,已兼容英伟达SM100 GPU和华为昇腾950 NPU。彭博社指出,推理技术通常被AI公司视为核心竞争力而较少公开,此次开源让外界得以了解DeepSeek如何在压低运行成本的同时确保模型性能。海外开发者积极反馈,有印度博主以"Real OPEN AI"评价DeepSeek。
DeepSeek于10月20日宣布开源内部生产级推理框架DeepInfer,该框架整合分布式推理、投机解码等技术,已兼容英伟达SM100 GPU和华为昇腾950 NPU。彭博社指出,推理技术通常被AI公司视为核心竞争力而较少公开,此次开源让外界得以了解DeepSeek如何在压低运行成本的同时确保模型性能。海外开发者积极反馈,有印度博主以"Real OPEN AI"评价DeepSeek。
Inception 发布扩散语言模型 Mercury 3,称其在 12 项基准测试中赢下 8 项,运行速度为 GPT-6 Luna 和 Claude Haiku 5.5 的 4 至 8 倍。
英伟达CEO黄仁勋在柏林GTC大会上发布模块化AI工厂DSX Pod、智能体安全架构OpenShell、人形机器人参考平台及多项自动驾驶合作,并称过去一年已在欧洲投资近100亿美元、建立超过12000项合作关系。
谷歌宣布其 PyTorch 版本 TorchTPU 已作为开源项目开放,AI 应用只需修改配置即可迁移到谷歌 TPU 和谷歌云,无需重写代码。亚马逊此前一天发布了类似工具 TorchNeuron,可将应用迁移至其自研芯片 Trainium 和 AWS。