没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
1 开发规范
1.1 数据开发规范
1.1.1 hive 数据目录规范
1.1.1.1 表分区键命名
月分区键:
日分区键:
创建分区键的时候分区键不能和表字段名相同。
1.1.1.2 hdfs 存放位置
表数据文件在 存放位置:模式名表名分区名子
分区名。
示例:
1.1.1.3 字段分隔符
字段分割符:表的字段分割符默认使用!"!,接口层表的字段分割符仍采用源文件
中的字段分割符。
空值处理:为了保证导出数据的正确性,空值统一用
#$%&$'%('$%)*$#+!,-,,! !!.进行处理。
1.1.1.4 分区表结构
创建分区表分为 种,一种是单分区,也就是说在表文件夹目录下只有一级文件夹目
录。另外一种是多分区,表文件夹下出现多文件夹嵌套模式。
示例:
单分区表
, /,,,
+ 0 账期月1
0 账期日1
0 手机号码1
/ 0 省份代码1
, 0 标签1
, 0 标签1
, 0 标签
.
/ + 0.
, 2, !"! 3
多分区表
, /,,,
+ 0 账期月1
0 账期日1
0 手机号码1
/ 0 省份代码1
, 0 标签 1
, 0 标签1
, 0 标签
.
/ + 01 0.
, 2, !"! 3
1.1.2 hbase 数据目录规范
1.1.2.1 hdfs 存放位置
表数据文件在 存放位置: 表名
示例:
1.1.2.2 表结构
使用表作为顶级结构来存储数据,写数据到 就是写数据到表。一般我们
创建的表只有一个列族。
示例:
创建表 ,列族为
1.2 脚本开发规范
1.2.1 脚本目录规范
1.2.1.1 目录规范说明
! 开发用户
开发用户为 " 开发人员所使用的用户,具备自身开发脚本的新建、修改、
删除、执行。
为了保障 " 系统安全,避免误操作删除 " 系统文件,建议创建开发用
户,与 " 管理用户在 " 系统操作权限上进行多租户隔离。
开发用户的创建,参考 《大数据技术实施规范——系统运维规范》 开发用户的
设置。
#! 应用目录说明
按照数据源区分应用数据目录。
序号 命名 说明
$
% 上网行为分析
# &
经分数据仓库迁移
' $
信令数据(Signaling)
应用子目录说明:每个应用目录下包含 0、、 三个子目录,子目录详
细说明如下:
. 导出文件目录:0
. 导入文件目录:
. ,, 脚本目录:
,, 脚本目录说明
. ,, 脚本目录:存放通用 ,, 脚本,通用脚本调用 ,, 加工脚本。
//011014
. 加工脚本目录5存放 ,, 脚本,例如 6 #,, 加工脚本
//0110147,
. 日志文件目录5存放 #,, 脚本执行过程日志、报错信息、8/% 输出
信息等,便于 9 调试、错误捕捉、执行情况监控。
//011014,0
. 配置文件目录5存放脚本中调用的环境变量,例如目录配置、(%:;<$ 连接相
关变量等。
//011014/
加工脚本目录说明:按照数据模型规范,进行加工脚本目录划分。例如:
()*""($&$+*,(---
+*,、-、-、- 分别代表数据模型规范中不同的层次。
1.2.1.2 目录结构体系
======= >>开发用户
=======// >>应用开发目录
=======0 >>应用数据库目录,?@ 表示 ?@ 详单数据库
======= >>应用数据库目录, 表示经分库
=======0 >>导出文件加工目录
======= >>导入文件加工目录
======= >>应用 ,, 脚本执行目录
=======7, >>=#A< 脚本文件目录,通用脚本存放目录
======= 层加工脚本目录
======= 层加工脚本目录
======= 层加工脚本目录
======= 层加工脚本目录
=======,0 >>日志文件目录
=======/ >>参数文件目录
1.2.2 脚本文件命名规范
文件名规范:数据库类型文件名命名参考数据模型规范中表实体命名。
文件扩展名规范:扩展名为 。
文件名命名举例:
,0/,表示 层日表 ,0/ 的 6 处理脚本。
数据库类型说明:
序号 数据库类型 对应数据库
6
6B
#
(,
/ '0
C 0/ ?',
D 8#7,
E 8/%
剩余32页未读,继续阅读
tengkong22
- 粉丝: 18
- 资源: 25
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0