doc2harness

Apakah doc2harness

Doc2Harness ialah rangka kerja penanda aras untuk menilai model bahasa besar pada tugas ejen pengekodan ufuk panjang, menyediakan kod pelaksanaan rasmi.

Ciri utama

• Menilai keupayaan model bahasa besar untuk membina ejen pengekodan melalui dua fasa: fasa pembinaan dan fasa penilaian
• Menggunakan OpenCode dalam bekas terasing untuk membenarkan model melaksanakan rangka kerja ejen lengkap berdasarkan dokumentasi pembangunan dan rangka antara muka
• Melaksanakan penilaian hujung ke hujung menggunakan harness beku dan model mock berskrip
• Menjaring melalui empat saluran boleh cerap (permintaan model, fail cakera, kod keluar, output arahan) dan kawalan positif
• Menyediakan 94 senario awam (termasuk 53 kes ujian penjarian dan 41 kawalan positif)

Untuk siapa ia

Sesuai untuk penyelidik, pembangun atau pasukan yang menilai prestasi model bahasa besar pada tugas pembinaan ejen pengekodan ufuk panjang.

Cara memulakan

1. Lawati repositori GitHub https://github.com/YuyaoGe/doc2harness
2. Pastikan Python 3.11+ dan Docker dipasang secara setempat
3. Jalankan Peringkat 2 untuk menilai harness sedia ada mengikut bahagian Quick start dalam README

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.