doc2harness

ما هو doc2harness

Doc2Harness هو إطار معياري لتقييم نماذج اللغة الكبيرة على مهام وكيل البرمجة طويلة الأفق، ويوفر كود التنفيذ الرسمي.

الميزات الرئيسية

• يقيم قدرة نماذج اللغة الكبيرة على بناء وكلاء البرمجة من خلال مرحلتين: مرحلة البناء ومرحلة التقييم
• يستخدم OpenCode في حاوية معزولة للسماح للنموذج بتنفيذ إطار عمل وكيل كامل بناءً على وثائق التطوير وهياكل الواجهات
• يقوم بتقييم شامل من البداية إلى النهاية باستخدام حاجز مجمد ونموذج محاكاة مبرمج
• يقيّم عبر أربع قنوات قابلة للملاحظة (طلبات النموذج، ملفات القرص، رموز الخروج، مخرجات الأوامر) وعناصر تحكم إيجابية
• يوفر 94 سيناريو عامًا (بما في ذلك 53 حالة اختبار تقييم و41 عنصر تحكم إيجابي)

من هي موجهة له

مناسب للباحثين أو المطورين أو الفرق التي تقيّم أداء نماذج اللغات الكبيرة في مهام بناء وكلاء البرمجة طويلة الأفق

كيفية البدء

1. قم بزيارة مستودع GitHub https://github.com/YuyaoGe/doc2harness
2. تأكد من تثبيت Python 3.11+ وDocker محليًا
3. شغّل المرحلة 2 لتقييم حاجز موجود باتباع قسم البدء السريع في ملف README

مجمعة من الوصف العام على الموقع الرسمي للأداة / README / صفحة الإطلاق. لم يتم التحقق من الأسعار وأعداد المستخدمين؛ يرجى التحقق من الموقع الرسمي. بعض الأقسام تمت صياغتها بمساعدة الذكاء الاصطناعي. مكتوبة بالصينية والإنجليزية؛ اللغات الأخرى مترجمة آلياً.