Declarative Attention

Namgyu Ho et al.; arXiv preprint; 2 September. Model global/focus/local context region-ஐ declare செய்து KV-cache reads குறைக்கிறது. Authors 31.1–52.0% fewer attended tokens மற்றும் modest accuracy loss report செய்கின்றனர். Two model families; production validation இல்லை. Paper