// Tech · SIGNAL STRONG

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

量子位2d ago1 minTech

Aa

量子位Tech

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

SOURCE · 量子位

LEAD · 导读

一张卡，512路长推理同时跑

一张卡，512路长推理同时跑

QUOTE · 引述

一张卡，512路长推理同时跑

WAVEFORM · 1 段 · 1 MIN

Tag：资讯首页轮播 KV Cache优化

Comments

相关推荐