spark-json-schema:适用于Apache Spark的JSON模式解析器

spark-json-schema 该库的目标是在将json数据加载到Apache Spark中时支持输入数据的完整性。 为此，该库： 读取现有的json模式文件 解析json模式并构建一个Spark DataFrame模式 将json数据加载到Spark中时，可以使用生成的架构。 这验证输入数据符合给定的架构，并能够过滤出损坏的输入数据。 快速开始 将库包含在以下坐标下： libraryDependencies + = " org.zalando " %% " spark-json-schema " % " 0.6.1 " 通过提供输入文件的路径来解析给定的json模式文件。 该文件应相对于resources文件夹： val schema = SchemaConverter .convert( " schemaFile.json " ) 或者，您可以将convertCont