*: Correspondence should be addressed to Younghan Lee and Yunheung Paek

논문 소개: 본 논문은 fine-tuned LLM-based Automated Vulnerability Repair (AVR) models에 대한 기존 evaluation의 한계를 분석한다. Semantic-preserving transformation과 data overlap 제거를 통해, state-of-the-art 모델들이 surface-level features에 overfitting되어 있음을 보여주며, match-based evaluation이 functional 및 security aspects를 충분히 반영하지 못함을 밝힌다. 이를 보완하기 위해 functional 및 security tests를 포함한 L-AVRBench benchmark를 제안하고, 이를 통해 모델의 실제 AVR capability를 재평가한다.