量化评测权重空间编程
谁是最强的 weight-space programmer？
我们在保持函数不变的私有 Qwen3.5-0.8B 参考模型中植入已知缺陷。Model 赛道固定 harness，Agent 赛道允许自带 harness；精确真值、轨迹和成本全部公开。
6 类缺陷3 档难度Oracle 100 · No-op 0无 LLM 基线
排行榜
总分为各实例的平均分；置信区间通过实例级 bootstrap 计算。
结果待发布
排行榜将于 11 月 6 日上线
目前不发布任何正式分数。上线后每行将展示 bootstrap 置信区间、成本、Token、GPU 调用次数和公开轨迹。
首发名单
Model 赛道
- DeepSeek V4.1 Flash?
- Qwen3.8 Flash?
- GLM-5.3 Flash?
- GPT-6 Luna?
- Grok 4.1 Fast?
- MiniMax M2.7?
- Gemini 3.5 Flash-Lite?
- GPT-6.1 Terra?
Agent 赛道
- Cursor Agent · Composer 2.5?
- Cursor Agent · Grok 4.7?
基线
- Oracle100
- Red-team harness?
- 固定脚本流水线?
- No-op0
分数与成本
越靠左上越好。虚线为模型的帕累托前沿，成本轴采用对数刻度。
有结果后将在此显示分数—成本图。
这些结果不能说明什么
基准分数只反映模型在这套规则下的表现，不应被外推成更宽泛的能力结论。
缺陷是合成的
植入缺陷是可精确评分的受控任务，不代表现实中的所有模型故障。
不等于“原生读懂权重”
高分说明模型能有效完成“找方向 → 改权重 → 验证”的实验闭环。
成本也是结果
预算上限一致，但供应商定价、Token 口径和默认推理模式仍会影响成本。