yosegi:Yosegi是一种无模式的列式存储格式。 提供类似于JSON的灵活表示形式和类似于其他列存储格式的有效读取

八木简介 这个项目做什么？ Yosegi是一种无模式的列式存储格式。 提供类似于JSON的灵活表示形式和类似于其他列存储格式的有效读取。 为什么这个项目有用？ 存在一个问题，它太大了，无法像大数据时代那样压缩和保存数据。 从提高压缩率和读取性能的需求出发，提出了几种列式数据格式（例如，Apache ORC和Apache Parquet）。 它们使用列中的相似数据实现了高压缩率，并且在使用数据时可以按列对数据进行分组以实现读取性能。 但是，这些数据格式是必需的，应在保存数据之前定义一行（或一条记录）中的数据结构。 有必要在数据存储时决定如何使用它，并且常常很难确定要使用哪种数据。 在此项目中，我们提供了一种新的列格式，该格式在数据存储时不需要架构，其压缩和读取性能等于（或更高）其他格式。 用例 数据分析 分析大数据需要紧凑地存储数据并平稳地获取数据。 Yosegi作为柱状格式可满足此