最终用户结构化数据用户界面的基准-研究论文

多年来，已经有可能评估语义Web搜索和探索系统在计算效率方面的显着改进。 但是，要评估不同语义系统的用户界面对用户的帮助程度要困难得多。 促进特定领域研究进展的关键因素之一是能够比较不同方法的性能。 尽管语义Web领域中有许多这样的基准已经取得了重大改进，但是用于数据探索的语义Web用户界面却并非如此。 我们提出并演示了使用基准来评估此类用户界面，其中包括一组典型的用户任务以及一个明确定义的过程，用于将这些任务的性能指标分配给语义系统。 我们已将基准应用到四个此类系统。 而且，应用基准测试所需的所有资源都可以在线在线获取。 我们打算发起一个社区对话，这将导致一个公认的框架，该框架用于比较系统并衡量并鼓励朝着更好的语义搜索和探索工具的方向发展。