Parsimony

Que é Parsimony

Parsimony é un benchmark de código aberto que mide canto código adicional introducen os modelos de codificación de IA ao completar tarefas, avaliando a concisión do modelo.

Características clave

• Mide a cantidade de código adicional introducido polos modelos de codificación de IA ao completar tarefas
• Utiliza elementos sintácticos (como sentenzas, chamadas, nomes e literais) como unidades de codificación para o reconto
• Avaliado en parches públicos de DeepSWE, SWE-bench Verified e SWE-bench Live
• Cálculo neto de unidades de codificación: o código eliminado réstase
• Permite o envío de parches públicos por parte dos usuarios para novos modelos

Para quen é

Adecuado para desenvolvedores de modelos de codificación de IA, investigadores e desenvolvedores preocupados pola mantibilidade do código a longo prazo.

Como comezar

1. Visita https://parsimony.lasu.dev/ para ver os resultados do benchmark
2. Vai a https://github.com/La5u/Parsimony para o código aberto e a metodoloxía detallada
3. Envía parches públicos para novos modelos para participar no benchmark

Compilado a partir de descricións públicas no sitio web oficial / README / páxina de lanzamento da ferramenta. Os prezos e números de usuarios non foron verificados; consulta o sitio web oficial. Algunhas seccións foron redactadas con axuda de IA. Escrito en chinés e inglés; outras linguaxes están traducidas por máquina.