9Coding-agent score மறைக்கும் command-transport failures-ஐ QuoteBench காட்டுகிறது

AI software developmentAgent evaluationPreprint14 ஆகஸ்ட் 2026 arXiv listing

ஆசிரியர்கள்: Shangao Li, Yao Zhang, Volker Tresp, Yuanyuan Yang. நிலை: preprint; 13 ஆகஸ்ட் 17:57 UTC submitted, 14 ஆகஸ்ட் listed.

56 one-shot tasks-ல் unescaped parser சேர்த்ததால் success 55.4–73.2 percentage points குறைந்தது என ஆசிரியர்கள் தெரிவித்தனர். ஆறு configurations adaptation மூலம் பெரும்பகுதியை மீட்டன; இரண்டு மீளவில்லை.

ஏன் முக்கியம் / தாக்கம்: Coding-agent evaluations generation contract, serialisation, shell path, final-state validator ஆகியவற்றைக் குறிப்பிட வேண்டும். ஒரே score fragile harness behaviour-ஐ மறைக்கலாம்.