Llmspeed

Que é Llmspeed

Llmspeed é unha ferramenta en liña que axuda aos usuarios a experimentar a velocidade real de execución de LLM locais mediante simulación antes de mercar hardware.

Características clave

• Simula a velocidade real de execución dun LLM local despois de seleccionar hardware e modelo
• Mostra as métricas de tokens/seg e tempo-ao-primeiro-token
• Simulación baseada en datos de benchmarks validados de GPU, Mac e outro hardware

Para quen é

Usuarios que planean mercar hardware para executar modelos de linguaxe grandes locais, axudándoos a entender o rendemento no mundo real antes de comprar.

Como comezar

1. Visita https://llmspeed.dev/
2. Selecciona o hardware obxectivo
3. Selecciona o modelo a simular
4. Ver os resultados simulados de tokens/seg e tempo-ao-primeiro-token

Compilado a partir de descricións públicas no sitio web oficial / README / páxina de lanzamento da ferramenta. Os prezos e números de usuarios non foron verificados; consulta o sitio web oficial. Algunhas seccións foron redactadas con axuda de IA. Escrito en chinés e inglés; outras linguaxes están traducidas por máquina.