Llmspeed

Llmspeed என்றால் என்ன

Llmspeed என்பது உள்ளூர் LLMs-இன் உண்மையான இயக்க நேர வேகத்தை வன்பொருள் வாங்குவதற்கு முன்பு உருவகப்படுத்துதல் மூலம் பயனர்கள் அனுபவிக்க உதவும் ஒரு இணையக் கருவியாகும்.

முக்கிய அம்சங்கள்

• வன்பொருள் மற்றும் மாதிரியைத் தேர்ந்தெடுத்த பிறகு உள்ளூர் LLM-இன் உண்மையான இயக்க நேர வேகத்தை உருவகப்படுத்தவும்
• tokens/sec மற்றும் time-to-first-token அளவீடுகளைக் காட்டுகிறது
• சரிபார்க்கப்பட்ட GPU, Mac மற்றும் பிற வன்பொருள் பெஞ்ச்மார்க் தரவுகளின் அடிப்படையில் உருவகப்படுத்துதல்

யாருக்காக

உள்ளூர் பெரிய மொழி மாதிரிகளை இயக்க வன்பொருள் வாங்கத் திட்டமிடும் பயனர்கள், வாங்குவதற்கு முன்பு உண்மையான உலக செயல்திறனைப் புரிந்துகொள்ள உதவுகிறது.

எப்படித் தொடங்குவது

1. https://llmspeed.dev/ தளத்தைப் பார்வையிடவும்
2. இலக்கு வன்பொருளைத் தேர்ந்தெடுக்கவும்
3. உருவகப்படுத்த வேண்டிய மாதிரியைத் தேர்ந்தெடுக்கவும்
4. உருவகப்படுத்தப்பட்ட tokens/sec மற்றும் time-to-first-token முடிவுகளைப் பார்க்கவும்

கருவியின் அதிகாரப்பூர்வ வலைத்தளம் / README / அறிமுகப் பக்கத்தில் உள்ள பொது விளக்கங்களிலிருந்து தொகுக்கப்பட்டது. விலை மற்றும் பயனர் எண்ணிக்கைகள் சரிபார்க்கப்படவில்லை; அதிகாரப்பூர்வ வலைத்தளத்தைச் சரிபார்க்கவும். சில பிரிவுகள் AI உதவியுடன் வரைவு செய்யப்பட்டன. சீன மற்றும் ஆங்கிலத்தில் எழுதப்பட்டது; பிற மொழிகள் இயந்திர மொழிபெயர்ப்பு.