Parsimony

¿Qué es Parsimony

Parsimony es un benchmark de código abierto que mide cuánto código adicional introducen los modelos de codificación de IA al completar tareas, evaluando la concisión del modelo.

Características clave

• Mide la cantidad de código adicional introducido por los modelos de codificación de IA al completar tareas
• Utiliza elementos sintácticos (como sentencias, llamadas, nombres y literales) como unidades de codificación para el conteo
• Evaluado en parches públicos de DeepSWE, SWE-bench Verified y SWE-bench Live
• Cálculo neto de unidades de codificación: el código eliminado se deduce
• Permite el envío de parches públicos por parte de usuarios para nuevos modelos

Para quién es

Adecuado para desarrolladores de modelos de codificación de IA, investigadores y desarrolladores preocupados por el mantenimiento a largo plazo del código.

Cómo empezar

1. Visita https://parsimony.lasu.dev/ para ver los resultados del benchmark
2. Ve a https://github.com/La5u/Parsimony para el código abierto y la metodología detallada
3. Envía parches públicos de nuevos modelos para participar en el benchmark

Compilado a partir de descripciones públicas del sitio web oficial / README / página de lanzamiento de la herramienta. Los precios y números de usuarios no han sido verificados; consulta el sitio web oficial. Algunas secciones fueron redactadas con ayuda de IA. Escrito en chino e inglés; otros idiomas están traducidos automáticamente.