性能与人类编码器一样好的国际冲突数据自动信息提取工具：罕见事件评估设计-研究论文

尽管人们普遍认识到，关于国际冲突与合作的汇总汇总统计数据遗漏了大多数国家间复杂的互动，但绝大多数学者继续采用年度、季度或偶尔的月度观察。 从记者制作的大量新闻报道中编码的日常事件数据在过去二十年中没有得到太多使用。 我们提供了一些改变这种做法的理由，我们认为这应该会大大增加这些数据的使用。 我们解决了事件分类方案和软件程序的进步，这些程序通过阅读新闻报道而无需人工编码来自动生成数据。 我们设计了一种方法，当这些程序应用于具有国际冲突与合作数据特定特征的领域时，即具有高度不平等发生率的事件类别，以及罕见事件（例如高度冲突行动）是特别感兴趣的。 我们使用这种罕见事件设计来评估一个现有程序，并发现它与经过培训的人类编码员一样好，但使用成本显然要低得多。 对于大规模数据收集，该程序主导了人工编码。 我们的新评估方法应该可用于国际关系以及更广泛的计算语言学领域，以评估其他自动信息提取工具。 我们相信，由与我们评估的程序类似的程序创建的数据应该会在国际关系研究中得到显着增加的使用。 为了促进这一过程，我们在本文中发布了过去 10 年覆盖全球的 430 万次国际事件的数据。