三、测评方法
4
Ø 测评流程 Ø 评分标准
• 为更贴合应用场景实际，进一步评价模型的多维能力，本期测评题型以问答题为主；
• 为保障判分的一致性与准确度，问答题的评分方式由人工判分改为大模型判分，并按步骤赋分。
根 据 场 景 、 难 度 、 行 业 ，
选 取 有 标 准 答 案 的 题 目 ，
经人工校验后形成测试题。
利用G P T 4将原 有 标 准答案整 理
为 评 分 标 准 ， 并 通 过 人 工 校 验
提升判分标准科学性。
调用待测试大模型API，
收集大模型答案。
生 成 判 分 标 准
[ 1 ]
进 行 判 分
[ 2 ]
进 行 问 答
利 用 G P T 4 ， 根 据 评
分标准，按步骤赋分。
筛 选 题 目
1. 题目类型：每个场景抽取若干题目进行测试，题型以问答题为主。
2. 题目数量：
· 知识问答：144 道 · 数据分析：20 道
· 工程建模：100 道 · 文本生成：40 道
· 代码理解：150 道
注：各场景题目数量虽不一致，但考察要点总量保持在同一个数量级。
3. 题目得分：需要结合具体题目的评分细则，按照步骤进行赋分，赋分
后分数进行归一化处理。
4. 场景得分：
· 场景得分为题目总分百分化处理后的分数。
· 若有细分场景，则场景总分为细分场景的平均成绩。
5. 综合评分：由各场景算数平均分计算得出。
[1] 对于GPT4，先获取其回答，再用其生成标准答案、进行判分，避免信息泄露；
[2] GPT4的API承诺不记录数据用于训练，参考业界成熟方案，使用GPT4的API生成标
准答案和判分结果，减少测评误差。
