doc2harness

Què és doc2harness

Doc2Harness és un marc de referència per avaluar models de llenguatge grans en tasques d'agent de codificació a llarg termini, que proporciona codi d'implementació oficial.

Funcionalitats principals

• Avalua la capacitat dels models de llenguatge grans per construir agents de codificació a través de dues fases: la fase de construcció i la fase d'avaluació
• Utilitza OpenCode en un contenidor aïllat per permetre que el model implementi un marc complet d'agent basat en documentació de desenvolupament i esquelets d'interfície
• Realitza una avaluació d'extrem a extrem utilitzant un arnès congelat i un model de simulació amb scripts
• Puntua mitjançant quatre canals observables (sol·licituds del model, fitxers de disc, codis de sortida, sortida de comandes) i controls positius
• Proporciona 94 escenaris públics (incloent 53 casos de prova de puntuació i 41 controls positius)

Per a qui és

Adequat per a investigadors, desenvolupadors o equips que avaluen el rendiment de models de llenguatge grans en tasques de construcció d'agents de codificació a llarg termini.

Com començar

1. Visita el repositori de GitHub https://github.com/YuyaoGe/doc2harness
2. Assegura't que Python 3.11+ i Docker estan instal·lats localment
3. Executa l'etapa 2 per avaluar un arnès existent seguint la secció d'inici ràpid al README

Compilat a partir de descripcions públiques del lloc web oficial / README / pàgina de llançament de l'eina. Els preus i el nombre d'usuaris no s'han verificat; consulta el lloc web oficial. Algunes seccions s'han redactat amb ajuda d'IA. Escrit en xinès i anglès; altres idiomes són traduïts automàticament.