人工超智能灾难的风险和决策分析路径模型-研究论文

人工超级智能（ASI）是在各个方面都比人类智能得多的人工智能。 尽管ASI目前尚不存在，但一些学者建议可以在将来的某个时间创建它，而且它的创建可能会导致严重的全球灾难，甚至可能导致人类灭绝。 考虑到高风险，分析ASI风险并将风险因素纳入与ASI研发相关的决策中非常重要。 本文介绍了ASI灾难的主要路径的图形模型，重点介绍了通过递归自我改进创建的ASI。 该模型使用已建立的故障树和影响图的风险和决策分析建模范例，以描述可能导致AI灾难的事件和条件的组合，以及可以降低风险的干预方案。 事件和条件包括ASI本身的某些方面以及ASI研究，开发和管理的人为过程。 模型结构源自有关ASI风险的已发表文献。 该模型为对ASI灾难的长期风险进行严格的定量评估和决策提供了基础。