Tsinghua släpper AKV: Öppen källkod för smartare LLM-agent-cachning
2026-10-26 • Kategori: Mjukvara
TL;DR: Tsinghua-forskare släpper öppen källkod för AKV, ett system som drastiskt minskar kostnaden för LLM-agenter genom smartare KV-cache-hantering.
Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks.
The post Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang appeared first on MarkTechPost.