doc2harness

doc2harness 是什么

Doc2Harness是一个用于评估大型语言模型在长时序编码代理（Coding Agents）任务上的基准测试框架，提供了官方实现代码。

主要功能

• 通过两个阶段评估大型语言模型构建编码代理的能力：构建阶段和评估阶段
• 在隔离容器中使用 OpenCode 让模型根据开发文档和接口骨架实现完整代理框架
• 使用冻结的 harness 和脚本化的 mock model 进行端到端评估
• 通过四个可观测通道（模型请求、磁盘文件、退出码、命令输出）和 positive controls 进行评分
• 提供 94 个公开场景（含 53 个评分测试用例和 41 个 positive controls）

适合谁

适合研究者、开发者或团队评估大型语言模型在长时序编码代理（Coding Agents）构建任务上的表现。

怎么开始用

1. 访问 GitHub 仓库 https://github.com/YuyaoGe/doc2harness
2. 确保本地安装 Python 3.11+ 和 Docker
3. 按照 README 中的 Quick start 部分运行 Stage 2 评估现有 harness

内容依据工具官网 / README / 发布页公开描述整理，未核实价格与用户规模，请以官网为准。 部分段落由 AI 辅助生成。