doc2harness

doc2harness என்றால் என்ன

Doc2Harness என்பது நீண்ட-கால குறியீட்டு முகவர் பணிகளில் பெரிய மொழி மாதிரிகளை மதிப்பிடுவதற்கான ஒரு பெஞ்ச்மார்க் கட்டமைப்பாகும். இது அதிகாரப்பூர்வ செயல்படுத்தல் குறியீட்டை வழங்குகிறது.

முக்கிய அம்சங்கள்

• கட்டுமான கட்டம் மற்றும் மதிப்பீட்டுக் கட்டம் ஆகிய இரண்டு கட்டங்களின் மூலம் பெரிய மொழி மாதிரிகளின் குறியீட்டு முகவர்களை உருவாக்கும் திறனை மதிப்பிடுகிறது
• OpenCodeஐ தனிமைப்படுத்தப்பட்ட கொள்கலனில் பயன்படுத்தி, மாதிரியானது மேம்பாட்டு ஆவணங்கள் மற்றும் இடைமுக எலும்புக்கூடுகளின் அடிப்படையில் முழுமையான முகவர் கட்டமைப்பை செயல்படுத்த அனுமதிக்கிறது
• உறைந்த harness மற்றும் ஸ்கிரிப்ட் செய்யப்பட்ட மோக்கு மாதிரியைப் பயன்படுத்தி end-to-end மதிப்பீட்டை செய்கிறது
• நான்கு கவனிக்கக்கூடிய சேனல்கள் (மாதிரி கோரிக்கைகள், வட்டு கோப்புகள், வெளியேறும் குறியீடுகள், கட்டளை வெளியீடு) மற்றும் நேர்மறை கட்டுப்பாடுகள் மூலம் மதிப்பெண் வழங்குகிறது
• 94 பொது காட்சிகளை வழங்குகிறது (53 மதிப்பீட்டு சோதனை வழக்குகள் மற்றும் 41 நேர்மறை கட்டுப்பாடுகள் உட்பட)

யாருக்காக

நீண்ட-கால குறியீட்டு முகவர் கட்டுமான பணிகளில் பெரிய மொழி மாதிரிகளின் செயல்திறனை மதிப்பிடும் ஆராய்ச்சியாளர்கள், உருவாக்குநர்கள் அல்லது குழுக்களுக்கு ஏற்றது.

எப்படித் தொடங்குவது

1. GitHub repository https://github.com/YuyaoGe/doc2harness ஐ பார்வையிடவும்
2. Python 3.11+ மற்றும் Docker உள்ளூரில் நிறுவப்பட்டிருப்பதை உறுதிப்படுத்தவும்
3. README இல் Quick start பிரிவைப் பின்பற்றி ஏற்கனவே உள்ள harness ஐ மதிப்பிட Stage 2 ஐ இயக்கவும்

கருவியின் அதிகாரப்பூர்வ வலைத்தளம் / README / அறிமுகப் பக்கத்தில் உள்ள பொது விளக்கங்களிலிருந்து தொகுக்கப்பட்டது. விலை மற்றும் பயனர் எண்ணிக்கைகள் சரிபார்க்கப்படவில்லை; அதிகாரப்பூர்வ வலைத்தளத்தைச் சரிபார்க்கவும். சில பிரிவுகள் AI உதவியுடன் வரைவு செய்யப்பட்டன. சீன மற்றும் ஆங்கிலத்தில் எழுதப்பட்டது; பிற மொழிகள் இயந்திர மொழிபெயர்ப்பு.