（原标题：华为正式发布AI推理创新技术UCM（推理记忆数据管理器））配资查询之家
金吾财讯 | 据人民财讯消息，华为正式发布AI推理创新技术UCM（推理记忆数据管理器）。据了解，作为一款以KV Cache为中心的推理加速套件，UCM融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，可扩大推理上下文窗口配资查询之家，实现高吞吐、低时延的推理体验，降低每Token推理成本。
通弘网提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
