有没有遇到过这种情况：模型在自家benchmark上死活提不上去，又没精力手写训练数据？ 最近看到个做法，有点意思。它把数据合成变成一句话的事：告诉agent你的eval启动命令，让它读评测逻辑、判断打分方式是规则还是LLM判定，再选对应合成范式，自动跑真实轨迹，产出跟你benchmark同分布的训练数据。…

换个角度看 benchmark 提分：不是继续手搓样本，而是先让系统读懂评分器。 Auto-BenchMax 会判断规则评分或 LLM 评分，自动选择合成路径，再对齐结构分布、跑真实轨迹并过滤成 SFT 数据。训练、评测链路也一并开放。思路很适合工具调用类 benchmark，但目前覆盖面仍偏窄。