arXiv: DeepSeek@Joanna Szych, Anne Schwerk
45
推荐理由：该研究为LLM代码生成评估提供了更全面的方法论，强调了开发者反馈的重要性，对模型选择和改进实践具有参考价值。
全部 AI 动态
AI 相关资讯全量信息流
5月12日
19:11
该论文提出了一种树状折叠评估方法，用于评估LLM生成代码的正确性、质量和可用性。研究者基于一个复杂的计算机科学项目构建了正确性基准，并结合代码质量验证和开发者结构化审查。他们用该方法评估了GPT-4.1、DeepSeek-V3-0324和Claude Opus 4三个模型，发现开发者审查能揭示代码生产就绪状态等标准基准无法捕获的洞察。这表明仅靠正确性测试不足以全面评估LLM代码生成能力。