DeepSeek再掀开源浪潮：推理框架DeepInfer全面公开

DeepSeek在10月20日宣布将其内部推理框架DeepInfer全面开源，这一举措标志着其开源战略的进一步深化。DeepSeek指出，推理框架作为连接模型训练与实际应用的关键环节，其效率直接影响AI服务的算力成本和能源消耗。

DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出等功能。该框架兼容英伟达和华为昇腾两大平台，为开发者提供了更多部署选择。

DeepSeek官方已基于DeepInfer框架成功部署了DeepSeek V4.1 Flash的高吞吐、低延迟推理服务。未来，新模型的推理代码和优化将持续在此框架中更新。与框架同步开源的还有deepseek-recipe编解码组件，确保社区使用体验与官方部署一致。

DeepSeek表示，开源推理框架的目的是帮助开发者和企业优化大规模推理的吞吐量和延迟，从而更高效地搭建私有化或公有云部署。这一举措旨在降低算力成本，减少能源消耗，实现'大模型普惠'的目标。

从模型到算子库再到推理框架，DeepSeek正在将其AI技术栈的核心能力逐步开源。这一策略不仅有助于推动行业发展，也可能为DeepSeek在AI生态中赢得更大的影响力。