pythondataformat.py通用数据格式转化脚本.docx资源-CSDN文库

版权申诉

147 浏览量 2023-02-20 17:09:19 上传评论收藏 9KB DOCX 举报

资源推荐

资源详情

资源评论

fill_index = ft_map[i] if fill_index.startswith( d ):

outline += fill_index[1:] ee: outline +=

python dataformat.py通用数据格式转化脚本

需求：在举行 hadoop 测试时，需要造大量数据，例如某个表存在 56

列，但实际程序规律只适用到某几列，我们造的数据也只需要某几列

构造几列数据，转化为对应数据表式涉及模块：os,getopt,sys 输入：

源式，文本文件输出：目标式，文本文件 !/usr/bin/python -*-

coding: utf-8 -*- datafoat.py this script change data from your

source to the dest data format 2011-08-05 creat version0.1

2011-10-29 a row-row map ,default row value .rebuild all futions.

version0.2 nt:add data auto generate by re ession import

os,getopt,sys 读入文件,返回全部行 def read_(path): f =

open(path, r ) lines = f.readlines() f.close() return lines

处理一行，转为目标格式，返回目标行 def one_line_proc(parts,

total, ft_map, outsp, empty_fill): toindex = 0 outline =

keys = ft_map.keys() for i in range(1, total+1): if i in keys:

parts[int(fill_index)-1] else: outline += empty_fill if

i !=total: outline += outsp TODO:加入用法默认值列若是以 d

开始，后面是默认，否则取文件对应列 done TODO:这里按照这个推

断长度也需要换掉 done return outline 处理入口，读文件，循环

处理每一行，写出输入数据分隔符默认 ,输出数据默认分隔符

def process(inpath, total, to, outpath, insp= , outsp= ,

empty_fill= ): TODO:这里将 to 转为映射格式 done ft_map = {}

in_count = 0 u_row = [] for to_row in to: if r \: not in to_row

and len(to_row.( : ))==2:

used_row.append(int(to_row.split( : )[1])) if r \= not in

s(to_row) and len(str(to_row).split( = ))==2: pass else:

in_count += 1 for to_row in to: if r \= not in str(to_row) and

第 1 页共 3 页

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

内容反馈

版权申诉

苦茶子12138

粉丝: 1w+
资源: 7万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip