数据采集文档说明
1. 生产数据目录为:
/home/wangyi/DepositoryProject/API,其中对应的数据分别为,产品采集,用户采集,充提
采集,奖励采集,投资采集,数据按照天依次递增,同时保留历史数据。
/home/wangyi/DepositoryProject/api/Ct/xxx --充值提现采集数据
/home/wangyi/DepositoryProject/api/Invest/xxx --投资采集数据
/home/wangyi/DepositoryProject/api/Product/xxx --产品采集数据
/home/wangyi/DepositoryProject/api/Reward/xxx --奖励采集数据
/home/wangyi/DepositoryProject/api/User/xxx --用户采集数据
2. 开发数据目录:
数据开发工程中只有/home/wangyi/DepositoryProject/Databak 中的数据是全量数据,也就
是从开始进行数据采集到采集时候的所有数据,其它生产目录只保留清洗前一次数据目录
备份
Databak --数据最终切割与汇总输出目录(也是全量数据,包括历史数据)
Dataclear --数据临时清洗目录
dataclearTitle --数据一级清洗目录
datadisposeStringNULL --数据二级清洗目录
Dataformat --数据三级清洗目录
Datalast --数据四级清洗目录
Dataproduce --数据产生层目录