如果你愿意支持这个项目，欢迎给 GitHub repo 点个 Star： 论文刚发到 Hugging Face Papers，有空也请帮忙 upvote 一下呀 🥺

做了个 Benchmark Radar。 它每天收集新发布和新更新的 benchmark、评测、数据集与数据质量工作， 帮你快速判断今天最值得先看什么。Today 页会优先展示真正的新发布， 再看新鲜度和优先级分数。 当前的优先级分数由四部分组成：相关性占 35%，社区采用信号占 25%， 证据强度占 20%，新鲜度占 20%。相关性看标题和来源描述是否确实在讲 benchmark…

希望 10 年后地球人可以远程指挥火星上的 benchmark radar 来间接指挥LLM进行建设 --本句修改自@huangruiteng

提交arXiv 让我想到，四年前写CME小论文时，疯狂复制粘贴以及写上 {figure}[!htbp] 的时光。。。 欢迎大家来玩

新 benchmark 的热度该怎么看 Benchmark Radar 的热度主要看三类公开数据：Hugging Face Paper 点赞、 GitHub Stars 和 Hugging Face 数据集下载量。 刚发布时，stars 和下载量通常还没积累起来，所以短期更看 HF Paper 点赞。 时间拉长到 30 天或 90 天后，stars 和下载量更能说明社区是否持续关注、…

做 benchmark 前先查 related work 做 Agent benchmark、找 related work 时，信息散在论文、仓库和榜单里， 很容易漏掉，做完才发现被人截胡了。Benchmark Radar 每天收集一手来源， 网页和 CLI 都能搜。先查相近工作，再决定自己的 benchmark 该补哪块空白。 CLI 和数据：

正在找repo maintainers 我们先请求maintainers要审一下PR，审核的要求很高，要锐评，要符合repo的宗旨。 很多人在网上赛博捐精，repo的维护者，应该像子宫内膜／卵子一样，去阻止一些比较垃圾的精子（PR）进入。

Astra仍然是傻逼 仍然不看doc 仍然闭着眼睛写 仍然不思考

做 agent benchmark，找 related works 的时候，我发现信息太多很难找全，做出来之后容易跟别人重合了。所以手搓了一个小工具，每天从37个来源收集数据，获得 benchmark 的第一手消息，目前已经9000条records。可以看网站的每天日报，也可以安装 CLI，让 agent 查找。仓库在 已经 140+ stars

在做 agent benchmark，找 related works 的时候，我发现信息太多很难找全，做出来之后容易跟别人重合了。所以手搓了一个小工具，每天从37个来源收集数据，获得 benchmark 的第一手消息，目前已经9000条records。可以看网站的每天日报，也可以安装 CLI，让 agent 查找。仓库在 已经 140+ stars