doc2harness

Que é doc2harness

Doc2Harness é un framework de benchmarks para avaliar modelos de linguaxe grandes en tarefas de axentes de codificación a longo prazo, que fornece código de implementación oficial.

Características clave

• Avalía a capacidade dos modelos de linguaxe grandes para construír axentes de codificación a través de dúas fases: a fase de construción e a fase de avaliación
• Utiliza OpenCode nun contedor illado para permitir que o modelo implemente un framework completo de axentes baseado en documentación de desenvolvemento e esqueletos de interfaces
• Realiza unha avaliación completa usando un arnés conxelado e un modelo simulado con scripts
• Puntúa a través de catro canles observables (solicitudes do modelo, ficheiros en disco, códigos de saída, saída de comandos) e controis positivos
• Proporciona 94 escenarios públicos (incluíndo 53 casos de proba de puntuación e 41 controis positivos)

Para quen é

Adecuado para investigadores, desenvolvedores ou equipos que avalían o rendemento de modelos de linguaxe grandes en tarefas de construción de axentes de codificación a longo prazo.

Como comezar

1. Visita o repositorio de GitHub https://github.com/YuyaoGe/doc2harness
2. Asegúrate de que Python 3.11+ e Docker están instalados localmente
3. Executa a Etapa 2 para avaliar un arnés existente seguindo a sección de Inicio rápido no README

Compilado a partir de descricións públicas no sitio web oficial / README / páxina de lanzamento da ferramenta. Os prezos e números de usuarios non foron verificados; consulta o sitio web oficial. Algunhas seccións foron redactadas con axuda de IA. Escrito en chinés e inglés; outras linguaxes están traducidas por máquina.