doc2harness

¿Qué es doc2harness

Doc2Harness es un marco de referencia para evaluar modelos de lenguaje grandes en tareas de agentes de codificación a largo plazo, que proporciona código de implementación oficial.

Características clave

• Evalúa la capacidad de los modelos de lenguaje grandes para construir agentes de codificación a través de dos fases: la fase de construcción y la fase de evaluación
• Utiliza OpenCode en un contenedor aislado para permitir que el modelo implemente un marco de agente completo basado en documentación de desarrollo y esqueletos de interfaces
• Realiza una evaluación de extremo a extremo utilizando un arnés congelado y un modelo simulado con scripts
• Puntúa a través de cuatro canales observables (solicitudes del modelo, archivos en disco, códigos de salida, salida de comandos) y controles positivos
• Proporciona 94 escenarios públicos (incluidos 53 casos de prueba de puntuación y 41 controles positivos)

Para quién es

Adecuado para investigadores, desarrolladores o equipos que evalúan el rendimiento de los grandes modelos de lenguaje en tareas de construcción de agentes de codificación a largo plazo.

Cómo empezar

1. Visita el repositorio de GitHub https://github.com/YuyaoGe/doc2harness
2. Asegúrate de que Python 3.11+ y Docker estén instalados localmente
3. Ejecuta la Etapa 2 para evaluar un arnés existente siguiendo la sección de inicio rápido en el README

Compilado a partir de descripciones públicas del sitio web oficial / README / página de lanzamiento de la herramienta. Los precios y números de usuarios no han sido verificados; consulta el sitio web oficial. Algunas secciones fueron redactadas con ayuda de IA. Escrito en chino e inglés; otros idiomas están traducidos automáticamente.