doc2harness

Zer da doc2harness

Doc2Harness benchmark framework bat da, hizkuntza modelo handiak ebaluatzeko coding agent zeregin luzeetan, inplementazio kode ofiziala eskaintzen duena.

Ezaugarri nagusiak

• Hizkuntza modelo handien gaitasuna ebaluatzen du coding agenteak eraikitzeko bi faseren bidez: eraikuntza fasea eta ebaluazio fasea
• OpenCode erabiltzen du edukiontzi isolatu batean, ereduak garapen-dokumentazioan eta interfaze-eskeletoetan oinarritutako agente-esparru osoa inplementatzeko
• Ebaluazio end-to-end-a egiten du tresna izoztua eta maketa-eredu scriptatua erabiliz
• Puntuazioa lau kanal behagarri bidez ematen du (eredu-eskaerak, disko-fitxategiak, irteera-kodeak, komando-irteera) eta kontrol positiboak
• 94 eszenatoki publiko eskaintzen ditu (53 puntuazio-kasu eta 41 kontrol positibo barne)

Nori zuzenduta dago

Ikerlarientzat, garatzaileentzat edo taldeentzat egokia, hizkuntza-eredu handien errendimendua ebaluatzeko kodegintza-agenteen eraikuntza-zeregin luzeetan.

Nola hasi

1. Bisitatu GitHub biltegia https://github.com/YuyaoGe/doc2harness
2. Ziurtatu Python 3.11+ eta Docker instalatuta daudela lokalean
3. Exekutatu 2. etapa dagoen tresna bat ebaluatzeko, READMEko Quick start atalean azaltzen den bezala

Tresnaren webgune ofizialean / READMEan / abiarazte-orrian dauden deskribapen publikoetatik bilduta. Prezioak eta erabiltzaile-kopuruak ez dira egiaztatu; egiaztatu webgune ofiziala. Atal batzuk AI laguntzarekin idatzi ziren. Txineraz eta ingelesez idatzia; beste hizkuntzak makinaz itzulita daude.