华为正式发布AI推理创新技术UCM 计划于9月正式开源，将在魔擎社区首发，并共享给业内所有Share Everything共享架构存储厂商和生态伙伴。

华为8月12日正式发布AI推理创新技术UCM推理记忆数据管理器。

它是以KV Cache为中心的推理加速套件，UCM融合了多类型缓存加速算法工具，分级管理推理过程中产生的KVCache记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每Token推理成本。