DeepSeek推开源记忆模块Engram

DeepSeek-V4 技术架构提前曝光!

DeepSeek发布梁文锋署名新论文

DeepSeek在12日晚发布新论文，基于可扩展查找的条件记忆，大型语言模型稀疏性的新维度。

论文由北京大学与DeepSeek共同完成，合著作者署名中出现梁文锋。论文提出条件记忆conditional memory，通过引入可扩展的查找记忆结构，在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。而且DeepSeek开源相关记忆模块Engram。 即现有的 MoE 架构负责动态计算和推理，又有单独Engram部分用来存储和检索大模型的静态知识.