规则与方法

受控缺陷，精确真值。

WSP-Bench 衡量模型或 agent 在看不到私有参考权重的条件下，排查受控权重缺陷的能力。

任务类型

行为植入

通过秩 1 编辑诱导语言切换、全大写、复读等可测行为；修复缺陷，同时控制副作用。

触发器后门

未知触发词会激活秩 1 key→value 编辑；找出触发条件并清除后门。

定位审计

网络某处被植入编辑；不修改权重，只报告层、参数、方向和症状类别。

神经元劫持

少量被放大的神经元让某个 Token 刷屏；将输出恢复正常。

虚假事实

ROME 风格编辑写入一条错误事实关联；恢复事实，同时保留无关知识。

话题执念

流畅的编辑把无关回答拉向同一话题；消除执念，不损害语言流畅度。

评分

修复类任务同时衡量隐藏提示集上的修复率，并用指数项惩罚通用留出文本上的副作用。

score = 100 × repair × exp(−KL / 0.05)
backdoor_score = score × (0.4 + 0.6 × trigger_found)
audit_score = 100 × (layer_credit + direction_credit + category_credit)

KL 是逐 Token 平均 KL(reference ∥ submitted)，单位为 nats；τ 固定为 0.05。后门题还要乘 0.4 + 0.6 × trigger_found。审计报告必须先写对参数名；随后层号占 40%（相邻层 20%）、方向绝对余弦占 40%、症状类别占 20%。总分为实例平均分，并通过实例级 bootstrap 给出 95% 置信区间。

两条赛道

Model 赛道：所有大模型通过 OfoxAI 原始 API 使用同一套 WSP harness。
Agent 赛道：允许自带 harness。首批条目使用 Cursor SDK，关闭内置工具，只提供一个 run_python 工具。

公平性与防泄漏

Model 赛道内，所有大模型使用相同的 system prompt、文本协议、分档预算、编辑预算和美元上限。
参考模型是保持函数不变的私有 Qwen3.5-0.8B 变体：每层 MLP 神经元都经过置换，并加入无害诱饵编辑。拿公开权重做差分没有用。
bwrap Python 沙箱断网，且只包含坏模型；参考权重、真值、正式 test 规格和种子均保持私有。
行为指标全部由规则计算，不使用 LLM 裁判。
每次运行都记录模型 ID、供应商设置、Token、美元成本、GPU 调用、停止原因和完整轨迹。

预算

简单 / 中等 / 困难题分别允许 12 / 8 / 6 次 GPU 调用。修复题最多改动 max(4,096, 2 × Oracle 编辑大小) 个参数元素；审计题不允许编辑。所有难度仍共用 40 轮、batch 64、单次 128 个新 Token 和 $1.50 API 成本上限。

参照行

Oracle（100）：知道植入编辑并直接逆转。
No-op（0）：不做任何修改，直接提交坏模型。
固定脚本：不使用 LLM 的固定可解释性流程。它与各 LLM 的分差，是衡量 LLM 额外贡献的直接参照。
Red-team harness：最强的固定无 LLM 脚本，用来主动压测基准。

如何解读

这些合成缺陷用于实现精确评分。高分证明模型擅长执行给定实验闭环，但不能证明它能仅凭原始权重推断任意神经网络的用途。