评测方法与引用说明
每场盲测展示同一道题的两份作品,投票时隐藏模型身份。天梯根据有效投票估计模型的相对表现,分数会随题目、模型配置和投票样本变化。
哪些投票计入榜单?
榜单统计同题双作品盲测中的胜、负和平局。两份作品须属于不同的模型,或在按配置计分时属于不同的模型与思考档位组合。每位参与者对同一对作品版本最多计一次。质检题、「都不满意」和四屏比较会被排除。
筛选时,两份作品都须符合当前条件,分数按筛选后的投票重新计算。游客按浏览器标识统计,数量可能与实际参与人数有差异。
如何读榜
如果两组模型之间没有投票将它们连起来,榜单会分组排名。分数和名次只在各组内比较。
- 综合分
- 根据对手、投票结果和样本权重,用 Davidson–Bradley–Terry 模型估计。模型单独处理平局,分数以 1000 为中心。
- 偏好率
- 胜场计 1,平局计 0.5,负场计 0,加总后除以有效比较场次。
- 样本权重
- 游客投票的基础权重为 0.25,登录成员为 1。综合分计算会限制单人、单模型和单题的贡献,并在游客贡献过量时调低权重。
- 区间与暂定
- 约 95% 区间通过按参与者重采样估计。样本覆盖不足或无法估计稳定区间时,排名标为「暂定」。