Parsimony

Qu'est-ce que Parsimony

Parsimony est un benchmark open-source qui mesure la quantité de code supplémentaire que les modèles de codage IA introduisent lors de la réalisation de tâches, en évaluant leur concision.

Fonctionnalités principales

• Mesure la quantité de code supplémentaire introduite par les modèles de codage IA lors de la réalisation de tâches
• Utilise des éléments syntaxiques (tels que les instructions, appels, noms et littéraux) comme unités d’encodage pour le comptage
• Évalué sur des patches publics de DeepSWE, SWE-bench Verified et SWE-bench Live
• Calcul net des unités d’encodage : le code supprimé est déduit
• Prend en charge la soumission par les utilisateurs de patches publics pour de nouveaux modèles

Pour qui

Convient aux développeurs de modèles de codage IA, aux chercheurs et aux développeurs soucieux de la maintenabilité à long terme du code.

Comment démarrer

1. Visiter https://parsimony.lasu.dev/ pour voir les résultats du benchmark
2. Accéder à https://github.com/La5u/Parsimony pour le code open-source et la méthodologie détaillée
3. Soumettez des patches publics pour de nouveaux modèles afin de participer au benchmark

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.