大规模计量经济学：在经济学中激发大数据-研究论文

本文概述了如何使用“大数据”进行经济研究。 我们调查了在分布式文件系统上运行的不同 Spark 应用程序的性能和易用性，以便能够处理和分析以前由于大小而无法使用的数据集。 更具体地说，我们解释了如何使用 Spark 来 (i) 探索超过零售级计算机内存大小的大数据集，以及 (ii) 运行典型的计量经济学任务，包括微观计量经济学、面板数据和时间序列回归模型，这些任务在现场评估成本过高- 单独的机器。 通过弥合 Spark 的抽象概念和可以轻松更改以适应研究人员需要的现成示例之间的差距，我们为经济学家和社会科学家提供了更广泛的理论和实践，以处理不断增长的可用数据集。 重现本文中的示例的简便性使本指南成为数据处理和分布式计算背景有限的研究人员的有用参考。