doc2harness

Qu'est-ce que doc2harness

Doc2Harness est un framework de benchmarking pour évaluer les grands modèles de langage sur des tâches d'agent de codage à long horizon, fournissant le code d'implémentation officiel.

Fonctionnalités principales

• Évalue la capacité des grands modèles de langage à construire des agents de codage à travers deux phases : la phase de construction et la phase d'évaluation
• Utilise OpenCode dans un conteneur isolé pour permettre au modèle d'implémenter un framework d'agent complet basé sur la documentation de développement et les squelettes d'interfaces
• Effectue une évaluation de bout en bout à l'aide d'un harnais figé et d'un modèle simulé scripté
• Évalue via quatre canaux observables (requêtes du modèle, fichiers disque, codes de sortie, sortie des commandes) et des contrôles positifs
• Fournit 94 scénarios publics (dont 53 cas de test d'évaluation et 41 contrôles positifs)

Pour qui

Convient aux chercheurs, développeurs ou équipes évaluant les performances des grands modèles de langage sur des tâches de construction d'agents de codage à long horizon.

Comment démarrer

1. Visiter le dépôt GitHub https://github.com/YuyaoGe/doc2harness
2. Assurez-vous que Python 3.11+ et Docker sont installés localement
3. Exécuter l'étape 2 pour évaluer un harnais existant en suivant la section Quick start du README

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.