// 科技 · SIGNAL STRONG

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

量子位5小时前1 min科技

Aa

量子位科技

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

SOURCE · 量子位

LEAD · 导读

一张卡，512路长推理同时跑

一张卡，512路长推理同时跑

QUOTE · 引述

一张卡，512路长推理同时跑

WAVEFORM · 1 段 · 1 MIN

标签：资讯首页轮播 KV Cache优化

评论

相关推荐