使用Python(pandas库)处理csv数据
131 浏览量
2020-12-22
02:10:10
上传
评论 4
收藏 660KB PDF 举报
使用使用Python(pandas库库)处理处理csv数据数据
(注：本文写于做毕设期间，有处理大量csv文件的需要，故使用python强大的库资源来处理数据，希望对有需要的你提供帮助和启发）
使用使用Python(pandas)处理数据处理数据
原始数据和处理之后的样式原始数据和处理之后的样式
图中为一个csv文件，待处理的csv文件总共有2410个
原始数据原始数据
处理样式处理样式
1.导入导入os、、pandas和和numpy库库
import os
import pandas as pd
import numpy as np
2.筛选出筛选出csv文件中的指定行（列）文件中的指定行（列）
time = pd.read_csv(info, skiprows=[0], nrows=1, usecols=[6], header=None) # 遍历时间 但一个csv只读一次
rss = pd.read_csv(info, skiprows=[0], usecols=[4], header=None) # 空掉第一行 遍历所有csv文件的rss列
pd.read_csv（）的参数（）的参数
1.filepath_or_buffer ： 各种文件的路径（a str，pathlib.Path或py._path.local.LocalPath），URL（包括http，ftp和S3位置）或带有read()方法的任何对象（例如打开的文件或
StringIO）
2.skiprows=[ ] : 指定读取csv文件时忽略的行号
3.nrows = 1: 指定读取的行数为1，即只读取第一行
4.usecols= [] : 指定读取的列数的列号
5.header = None : 指定不读取原始数据的表头即列名1
3.利用数组和利用数组和numpy进行转置进行转置
arr_time = time.values
arr_t_T = arr_time.reshape(np.size(arr_time, 1), np.size(arr_time, 0)) # 利用numpy返回的行数和列数，再将其给数组的reshape方法
arr_rss = rss.values
arr_rss_T = arr_rss.reshape(np.size(arr_rss, 1), np.size(arr_rss, 0)) # 利用numpy返回的行数和列数，再将其给数组的reshape方法
1.数组的reshape函数：reshape()是数组array中的方法，作用是将数据按行列重新组织
2.np.size：如果传入的参数只有一个，则返回矩阵的元素个数
如果传入的第二个参数是0，则返回矩阵的行数
如果传入的第二个参数是1，则返回矩阵的列数
data_t = pd.DataFrame(arr_t_T)
data_r = pd.DataFrame(arr_rss_T) # 赋值给相应的DataFrame
再将其传给相应的DataFrame.
pandas也可以用转置的方法输出，不过在本文中因为有后续操作，所以用数组和numpy完成转置，不易出错。
4.遍历整个文件夹中的遍历整个文件夹中的csv文件文件
for info in os.listdir('H:/Ex 1.12'):
domain = os.path.abspath('H:/Ex 1.12')
info = os.path.join(domain, info) # 遍历整个文件夹
利用利用os模块的方法和模块的方法和for循环实现遍历文件夹的功能循环实现遍历文件夹的功能
1.os.listdir（path）： path为目标文件夹路径 返回：指定路径下的文件和文件夹列表
2.os.path.abspath（file）： 获取当前文件的绝对路径
3.os.path.join()函数： 连接两个或更多的路径名组件；如果各组件名首字母不包含’/’，则函数会自动加上 ；如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃；如
果最后一个组件为空，则生成的路径以一个’/’分隔符结尾
**
这个循环中先是获取目标路径文件夹中的所有文件，再将其转为绝对路径，这样在下一步这个循环中先是获取目标路径文件夹中的所有文件，再将其转为绝对路径，这样在下一步
os.path.join
功能中跳过已经读取过的文件，从而完成遍历操作。功能中跳过已经读取过的文件，从而完成遍历操作。
5.利用利用pd.concat在在csv文件中添加一列（行）文件中添加一列（行）
lb1 = pd.DataFrame({'label': ['Ex 1.12']})
data_l = pd.DataFrame(lb1) # 增加label列
首先利用之前的循环结构得到一个列名为label，内容全为Ex1.12的1*2410的列表
database_1 = pd.concat([data_t, data_r], axis=1, sort=False)
database_2 = pd.concat([database_1, data_l], axis=1, sort=False) # 整合三个DataFrame
评论0
最新资源