python:HDF和CSV存储优劣对比分析

小数据用csv，大数据用h5 结论1：几百KB以上的数据都用h5比较好 结论2：几KB的数据h5反而很慢 程序 import pandas as pd import numpy as np from wja.wja_tool import test_time as tt from wja import wja_tool as tool df = tool.generate_sampleDF(row, col) tt().run() df.to_csv('try.csv') tt().end() tt().run() df.to_hdf('try.h5','df',mode='w') tt() 在Python中，存储数据是数据分析过程中的重要环节。本文主要探讨了两种常用的数据存储格式——CSV（Comma Separated Values）和HDF5（Hierarchical Data Format），并对其优劣进行了对比分析。以下是对这两种格式的详细说明： **CSV存储**： 1. CSV是一种简单、通用的数据交换格式，适合于小规模数据的存储。它以文本形式存储，易于阅读和编写，且大多数文本编辑器都能打开。 2. CSV文件的可移植性非常强，几乎所有编程语言都有处理CSV的库，如Python的`pandas`库。 3. CSV文件占用空间相对较小，适合在网络上传输。 4. 但是，CSV不支持复杂数据类型，如数组或嵌套数据结构，且读写大型数据集时性能较低。 **HDF5存储**： 1. HDF5则是一种更高效的数据存储格式，特别是对于大数据量的处理。它支持二进制存储，读写速度快，尤其在处理大型数组数据时。 2. HDF5支持分层数据结构，可以存储复杂的数据模型，包括多维数组和表格。 3. HDF5文件可以包含多个数据集，便于组织和管理大量数据。 4. HDF5提供压缩选项，可以减少文件大小，但相比CSV，它的文件通常更大且不易于人类阅读。 5. HDF5在处理几KB的小数据时，由于其初始化开销，可能会比CSV慢。 **对比分析**： 1. 对比1至5显示，随着数据量增大，HDF5在保存和读取速度上的优势逐渐显现。对于10*1的数据，两者差距不大；但对于10000*1000的大数据，HDF5的速度优势显著，写入速度是CSV的约1/14，读取速度是CSV的约1/210。 2. 当数据规模较小（如几KB）时，HDF5的初始化和管理开销导致其性能下降，而CSV的简单性此时成为优势。 **补充知识：有权无向图的最短路径问题** 在图论中，给定一个有权无向图，我们寻找两个顶点之间的最短路径，其中路径的长度是所经过边的权值之和。这里给出了一种基于邻接列表的解决方案： 1. 定义一个字典`option`来存储所有可能的边及其对应的权值。 2. `hold`函数用于找到两条边的公共点和非公共点，以便合并它们。 3. `get`函数通过遍历所有边，利用`hold`函数更新`option`字典，确保每个相邻的顶点对都有相应的最大权值记录。 选择CSV还是HDF5取决于具体的应用场景。如果数据量小，对文件可读性有较高要求，或者需要跨平台交互，CSV可能是更好的选择。而当数据量大、需要高效的读写速度和复杂的结构时，HDF5则是理想之选。在实际应用中，应根据数据的特性和需求来选择合适的存储格式。