fde-gym

¿Qué es fde-gym

fde-gym es una plataforma de evaluación en línea para la era de los LLM. Cada caso de evaluación proviene de escenarios reales de entrega a clientes. Los usuarios deben usar un Agente de código para completar la tarea, y el juicio final se da solo después de que el sistema se pone en producción.

Características clave

• Cada caso de evaluación proviene de escenarios reales de entrega a clientes
• Los usuarios completan las tareas guiando a un Agente de código
• Proporciona un sistema en ejecución, documentación, historial y personal que se puede consultar
• Después de que el sistema se pone en producción, el juicio final se basa en tráfico real y se otorga una puntuación de 0 a 100
• Una sola oportunidad de envío; se deducen puntos por consumir tiempo del personal del cliente

Para quién es

Adecuado para desarrolladores, investigadores y equipos que necesitan entrenar o evaluar las capacidades de Agentes de código basados en LLM. Se usa para simular la resolución de problemas de extremo a extremo en escenarios reales de entrega a clientes.

Cómo empezar

1. Visita https://github.com/deeplethe/fde-gym
2. Visita el sitio web para ver la lista de casos
3. Selecciona un caso y lee los materiales proporcionados por el cliente
4. Guía al Agente de código para realizar cambios y envía para evaluación en producción

Compilado a partir de descripciones públicas del sitio web oficial / README / página de lanzamiento de la herramienta. Los precios y números de usuarios no han sido verificados; consulta el sitio web oficial. Algunas secciones fueron redactadas con ayuda de IA. Escrito en chino e inglés; otros idiomas están traducidos automáticamente.