doc2harness

Hva er doc2harness

Doc2Harness er et referanserammeverk for evaluering av store språkmodeller på lang-horisont kodingsagent-oppgaver, og gir offisiell implementasjonskode.

Viktige funksjoner

• Evaluerer store språkmodellers evne til å bygge kodingsagenter gjennom to faser: konstruksjonsfasen og evalueringfasen
• Bruker OpenCode i en isolert beholder for å la modellen implementere et komplett agentrammeverk basert på utviklingsdokumentasjon og grensesnittskjeletter
• Utfører end-to-end-evaluering ved hjelp av en frosset harness og skriptet mock-modell
• Skårer via fire observerbare kanaler (modellforespørsler, diskfiler, exit-koder, kommandoutdata) og positive kontroller
• Tilbyr 94 offentlige scenarier (inkludert 53 skåringstesttilfeller og 41 positive kontroller)

Hvem det er for

Passer for forskere, utviklere eller team som evaluerer ytelsen til store språkmodeller på lang-horisont-koding-agent-konstruksjonsoppgaver.

Hvordan komme i gang

1. Besøk GitHub-repositoriet https://github.com/YuyaoGe/doc2harness
2. Sørg for at Python 3.11+ og Docker er installert lokalt
3. Kjør Stage 2 for å evaluere en eksisterende harness ved å følge Quick start-delen i README

Sammensatt fra offentlige beskrivelser på verktøyets offisielle nettsted / README / lanseringsside. Priser og brukertall er ikke verifisert; vennligst sjekk det offisielle nettstedet. Noen seksjoner ble utarbeidet med hjelp fra AI. Skrevet på kinesisk og engelsk; andre språk er maskinoversatt.