公平的竞赛评卷系统
摘要：本文针对数学建模评卷问题提出了公平可信的评判方法并且由此评判出了
某校竞赛中一、二、三等奖的队，又在考虑了经济原则的基础上找出了合理的评卷方
法。对于按类别以 10%、12%、18%的比例计算出获一、二、三等奖的队的问题，
我们首先用 Q 值法进行了名额分配，具体的确定各队名次由后面完成。在解决专家评
分问题时我们建立了专家可信度模型，考虑了不同水平专家打分的权重，用来修正取
平均值打分的误差。对于新建立的评分模型，我们用它和正态分布的接近程度，以及
它和取平均分的评卷方式的对比来证明它的公平性。对于经济原则下的专家改卷数量
问题，在满足公平原则的基础上，用ＣＲＲ淘汰制来解决，使经济性和公平性得以兼
顾。
关键词：竞赛评判 Q 值法 专家可信度 CRR 淘汰制
1、问题的提出
1
如今数学建模及其竞赛活动已在全国乃至全世界广泛的开展起来，大多数的评卷
工作是这样进行的：将试卷密封后随机分给专家批改，由专家打出等级分，专家对每
份答卷给出等级分，根据专家给出的分数，给出这份答卷的平均分，以此作为试卷的
评判标准。
由于受到专家主观因素和平时改卷标准的影响，常常会出现某准程度的不公平出
现。在保证公平的原则下，我们还要考虑到经济性，即每一位专家评阅的试卷越少越
好，这样才是我们理想的评卷方式。以此，现需要解决如下问题：
1.1. 研究一种公平的评卷方法，该方法要求对每个专家的公平性给出评价，并且
根据不同专家评卷的可信程度，制定出公平的评分方法。（对于专家评分的可信度、
准确度，我们要做出评判，判分普遍偏高和判分比较准确的专家对于试卷最后成绩的
权重不同）
1.2.研究一致性或公正性检验方法。说明我们的评卷方法的合理的。
1.3.研究在公平原则上的经济的评卷方法。
2、模型的假设
2.1 参赛队伍的水平整体服从正态分布。
2.2 专家给出的分数是独立评出的。
2.3 每一种类别里面 A、B 两种试题不做区别。
2.4 经济性模型中每人试卷由四位不同的专家评阅。
3、名额的分配
某 校 共 有 259 支 代 表 队 参 加 建 模 比 赛 ， 根 据 题 目 要 求 要 按 类 别 以
10%、12%、18%的比例计算出获一、二、三等奖的队。根据附表，A、B、C 三种
类别的参赛队分别有 238、7、14 支队伍参加。根据计算，一共有 104 人获奖，这
104 人要按比例分配到 3 个类别中，先以比例非配：
比例 比例分配 取整人数
A 类 0.9189 95.19 95
B 类 0.027 2.7972 2
C 类 0.0541 5.6048 5
按比例取整分配完后，还剩下两人，用 Q 值法分配剩下的两人可以减少误差，下
面定义 Q 值[1]：
设总人数为 的待分配群体共分成 个组，待分配的名额为 ，第 组人数为 ，
分配到的专家为 ：
2
为第 组的相对不公平值。
称
为第 组的 Q 值
由上式可得 =1.0060 =1.4054 =1.1243
故剩下的两名名额分配到 B、C 组中各一名。
同理可以得出 A、B、C 各组中一、二、三等奖分配的名额。
所属类别 一等人数 二等人数 三等人数
A 类 25 28 42
B 类 1 1 1
C 类 1 1 2
4、专家可信度模型
在评卷过程中，我们不能简单地把专家给出的分数求平均，这样做是不够准确的，
在评卷过程中，不可避免地会出现一致偏低、一致偏高、波动较大等情况。例如一共
有三位专家，其中有一位评分公正度高，一位普遍偏低，剩下一位评分普遍偏高，假
如有 A、B 两个参赛队，已知 A 的实际水平是高于 B 的，但如果 A 由公正度高，普遍
偏低的专家打分，B 由公正度高和普遍偏高的专家打分，那么 B 的成绩很有可能超过
A。
我们引入几个统计量来衡量专家的打分特征：
4.1 标准差
标准差是用来衡量专家打分偏离平均分程度的，可以有效地区分专家水平。
4.2 离差绝对值之和
离差指的是某专家对某卷的评分减去该卷的平均分得出的数值，离差绝对值的计
算方法即是把专家对每一组改卷的离差绝对值相加：
[2]
离差绝对值可以反映出专家的评卷水平，并且其数值和专家水平负相关，即离差值越
大，专家评分的水平不行。
4.3 离差代数和
仅仅是对 4.2 中的离差求和，得到某专家评分的离差代数和，该代数和由于有正
负项，其和可以相互抵消，故其代数和没有直接的意义，我们要把它同离差绝对值之
和联系起来考虑。
4.4 绝对比
定义为离差绝对值之和 ，与离差代数和 之间的比值：
3
[3]
的值有以下三种情况：
① 的值很高，说明离差绝对值之和远大于离差代数和之值。这种情况下专家
的评分远离整体评分，而且评分上下波动明显。
② 比 1 稍大，专家的评分只在平均分上下小幅度波动。
③ ，因为离差代数和是可以为正可以为负的，这种情况说明专家给分全都
高于或低于平均分。
从上面的分析看，专家可以分为以下三类：
① 公平客观型专家：这类专家客观公正、水平较高，评分围绕均值做小幅度波动，
离差绝对值小，绝对比作为次要衡量，这是我们理想的那种专家。
② 一致偏向型：这类专家评分普遍偏高或偏低，分别具有较强的主观色彩和较苛
刻的给分标准。其 接近 1 或者为 1，其评分的 值大。
③ 波动型：这类专家离差绝对值之和较大，离差代数和较小， 值较大。
4.5 专家类别的评判方法
我们采用层次分析法，并且以图表来直观表示：
图 2
4.6 偏差的处理
我们已经把专家分成不同特点的类型：客观公平型、一致偏向型、大幅波动型。
根据不同的类型，分别把专家的分数乘以该类型的权系数，再累加求平均。
符号约定
：第 个专家评阅第 份答卷的分数； ：第 份答卷的平均分；
：第 份答卷的最终分数； ：第 个专家的类型系数；
权系数
① 客观公平型：
这种类型的专家评分比较公正，可靠性高，权系数可以认为是 1。
② 一致偏向型：
4
公正客观型
全体专家
余两类
波动型 一致偏向型
、大
、小
大
、
或接近 1
表示第 个专家评阅的 份答卷的总分， 表示 份答卷平均分的总分，该
权值表示该专家用该专家评分作为最后给定成绩分数的比例。
③ 波动型：
这种类型的专家可以看成是打分向偏高和偏低两个方向偏离的。
4.7 最终分数调整公式
为某队最终得分。
某校 259 个参赛队的成绩可以由以上模型解出。
5、经济阅卷模型
在 6.5 中有详细的说明
6、模型的求解
6.1 专家可信度分析
试卷一共 12 各等级，为了方便处理数据，我们将等级分数字化， 至 分别
以 12 至 1 的数字代表，我们再把附件一中的表里的空格（即未被某专家批改），转换
成 0，并且将 259 个队 12 个专家的打分提取出来，作为得分矩阵 F，F 为 矩阵
（附录 1），然后由 Matlab 编程计算得出每个队伍的平均分矩阵为 J，J 为 的矩
阵（附录 2 中可求），然后用 Matlab 求解我们要的每个专家的离差绝对值 、离差代
数和 、及绝对比 。（附录２中可求）最后求的 12 位专家的 、 、 值
（附录２中可求），如下（从左到右依次为 1 至 12 号专家）：
标准差
0.6576 0.2981 0.7226 0.6166 1.1052 0.2913 0.3007 0.7303
0.7406 0.7617 0.7957 0.4505
离差绝对值之和
82.5500 33.4667 96.3000 69.1500 115.8333 17.2500 33.3333 84.5833 75.5833
94.4167 103.5833 53.7833
离差代数值之和
61.9500 15.4667 -61.2000 -28.5167 -32.1667 -1.4167 18.6667 -38.5833 -10.1167 -
3.5833 102.4167 -22.9167
绝代比
1.3325 2.1638 -1.5735 -2.4249 -3.6010 -12.1765 1.7857 -2.1922 -7.4712 -26.3488
5
