评判标准：
一、初赛赛题
1.论文文献的文本集合：
其中
，为第 i 篇文档
2.预定义实体类别：
实体提及和所属类别对的集合：
，其中
是出
现在文档
中的医疗实体提及（mention），
和
分别表示
在
中的起止位置，
表
示实体所属的预定义类别。要求实体提及之间不重叠，即
。
采用 F1-Measure 作为评测指标。参赛选手的提交结果集合记为
，人工标
注的结果（Gold Standard，答案集合）集合记为
。集合元素为一个实体，
表示为四元组
，表示文档，
和
分别对应实体提及在文档中的起
止下标，表示实体提及所属预定义类别。按照如下指标进行评价。
我们定义
与
等价，当且仅当：
上述第二个公式表示预测集和标准集的某个实体在位置上有交集。
基于以上等价关系，我们定义集合与的松弛交集为
。由此得到评测指标：
,
,
