fde-gym

Qu'est-ce que fde-gym

fde-gym est une plateforme d'évaluation en ligne pour l'ère des LLM. Chaque cas d'évaluation provient de scénarios réels de livraison client. Les utilisateurs doivent utiliser un Agent de codage pour terminer la tâche, le jugement final n'étant donné qu'après la mise en ligne du système.

Fonctionnalités principales

• Chaque cas d'évaluation provient de scénarios réels de livraison client
• Les utilisateurs terminent les tâches en guidant un Agent de codage
• Fournit un système en cours d'exécution, de la documentation, un historique et du personnel consultables
• Après la mise en ligne du système, le jugement final est basé sur le trafic réel et une note de 0 à 100 est attribuée
• Une seule opportunité de soumission ; des points sont déduits pour la consommation du temps du personnel client

Pour qui

Convient aux développeurs, chercheurs et équipes qui ont besoin de former ou d'évaluer les capacités des Agents de codage LLM. Utilisé pour simuler la résolution de problèmes de bout en bout dans des scénarios réels de livraison client.

Comment démarrer

1. Rendez-vous sur https://github.com/deeplethe/fde-gym
2. Visiter le site web pour voir la liste des cas
3. Sélectionner un cas et lire les documents fournis par le client
4. Guider l'Agent de codage pour effectuer les modifications et soumettre pour évaluation en ligne

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.