论文研究-手机阅读平台仓库管理模块的设计与实现 .pdf

所需积分/C币:9 2019-08-19 535KB .pdf
评分

手机阅读平台仓库管理模块的设计与实现,周鹤,朱晓民,针对手机阅读数据仓库计算和存储的特点,设计并实现了符合手机阅读基地Hadoop Hive数据仓库自身特点的数据仓库管理系统,保证数据信�
山国武花论文在丝 如上图所示,薮据仓库管珄平台主要涉及到三个模块,即元数据管理、调度监控、血缘 分析。其中,元数据管理模块系统设计如下 元数据查询元数报表元数据分析 峁喵 元数据存储 Hive Oracle Log Script 图元数据管理馍块系统设计图 元数据管理模块的功能主要包括各个数据平台数据收集入斥,存储其元数据信息,最终 提供查询接∏,向用户输出信息。 调度监控模块设计如下: 差错控制 运行状态查询 调度重跑 调度管理模块 调度日志 节点运行Log 0oe调度日志 图调度监控模块系统没计图 调度监控模块的功能涉及到两部分日志的收集,将节点运行日志和日志结合在 起,通过解析日志得到节点运行状态、时长等重要信息,向用户提供差错控制、状态査洵、 调度启停和重跑等功能。 血缘分析模块设计如下: 报表平台数据地图数据优化 数据仓库 血缘关系计算 节点血缘 表血缘 图血缘分析模块系统没计图 血缘分析模块在节点血缘的基础上,结合表血缘分析,提供数据地图向用户展现血缘流 向。血缘的产生对用户而言是透明的,血缘计算模块会根据配置文件和代码内容,全量分析 山国武花论文在丝 出血缘来,每大计算次并体现在元数据库中血缘相关表中。 仓库数据血缘米源:配置文件( )和 源代码 )。仓库开发人员在开发新的工作流时,需记录工作流的依赖情况, 中记录 和 中记录节点依赖关系 代码中记 录了节点和表的对应的关系,通过解析代码,计算出节点和表的对应关系。通过图算 法,获取节点血缘关系,在节点血缘之仁,获取表的血缘。血缘分析是仓库全局的索引,计 算方法需需保证其准确性、完整性。 结合上述模块描述和系统设计图,手机阅读平台数据仓厍管理模块共分为三个主要的子 模块 (1)元数据管理模块 通过对元数据、仓斥元薮据、接∏元数据和业务元数据的管理,实现对仓斥信息 的有效管理和呈现,为仓库应用开发、仓库调度控制管理、仓库数据管理、需求设计和仓库 调优提供必要支撑。 (2)调度监控模块 对调度节点实施有效监搾,实时、准确地旱现日常调度情况。通过日志自动牛成和准实 时抓取 Oozie日志,对整个平台的调度节点的运行状况进行实时分析与管理,结合可视化展 示方式,最终将调度情况以动态操作的图形界面显现给维护人员。主要功能包括:调度任务 仝親展示、任意节点的前置/后置依赖关系分析、两点间依赖关系分析、节点任务自动重启、 状态监控、运行时长监控等。 (3)血缘分析模块 这部分主要分为两条线,节点血缘关系和表血缘关系。节点血缘关系为外层依赖调度关 系,在开发时即指定任务调度依赖:表血缘关系为内部数据流向,可观察到数据从原始表经 过了哪些步骤,最终到达结果表,或指定结果表,可反向查询其中间表和对应的原始表。 平台核心功能模块分析 元数据管理 在元数据管理模块中,需要完成元数据信息收集 相关表的元数据信息存储在 中,日志信息通过日志管理模块获取。从 中读取相关表,从中解析相 关字段,完成元数据下载;读取 的相关表,完成控制文件编写,继而完成下载下米 的元数据自动入库元数据如下在入库的流程如图所示 得到 Oracle 得到My5表 表字段 字段 收集集群解析 rOomie log Shell log 生成控制文件 下载 Mysq Shell log下载 oozie log下载 入库至 Oracle 图元数据表下载入库流程图 山国武技论文在丝 数据字典的设计如下所示: 表分区信息 表分区参数信忘 字段信息 PK Dart id FK. FK1 表分区键信息 create timc k column nane part name comment tbl id pk ey Yue teger idx 表宇段对应关系表 表数据目录 PK table_id 表索引信息 PK, FK2cclumn_name PK, FK2_id ir put format de ferred rebui ld ndex handl er cl ass locatio FE2 tbl id ou tput format ast access ti ne serde id orig tbl 11 FK3 tEl id sd id 数据库信息表 表索弓参数信息表信息表 桶信息 表S0 RTED BY字段信息 PK, FK2 indexed PK sd id PK serda_id param key integer idx PK aran-walue buckel col taie LIcl se? 数据库权限信息 PK db_want_id create tIme art optIon 图仓厍元数据表数据字典设计 完成元数据信息下载及入库,共涉及到以下张表: 调度监控管理 日志管理是调度监控模块的基础,健全的日志管理,是进行下一步脚本出错检测、实时 查看调度信息、任务重跑、故障快速恢复等功能的关键。 本文提出了将本地日志与日志相结合的思想,可以快速定位节点的运 行信息,并闬同时得知关于该节点的调度信息。具体流程如下所示: 山国武技论文在丝 Shell log收集 Oozie log收集 Shell log解析 Task relation Oozic logl解析 任务运行信息 节点查错监控 节点状态查洵 运行时长查询 启停于重跑 图日志管理流程图 现网配置台 ,每日开启调度后,代码的运行日志会随机分布在台节点 上,通过日志管理模块下载日志,存于本地上,解析得到最新的日志信息,按日期作为 目录存储,生成 运行时信息,存储至 目永下。解析木地 口志,对每个外层脚本获取最新口志,提取开始时间、结束时间,计算执行时间,其口志 格式如下所示: 手机阅读代码部署在 平台之上,通多来廾启每大的调度。木地日志解决 了获取运行状态的问题。但是,对于一个具体任务,涉及到获取它的 运行信息 时,现场人员往往只能通过翻阅繁琐的网页去获取对应和信息。为此,通过解析 运行日忐,得到 和 的对应关系,其格式如下 整体算法流程如下: ()仗用多线程并行下载所有执行日忐,读取 的 文件,命令为 ()对每一个外层脚木获取最新日志,提取廾始时问、结束时间,计算执行时间 ()若日志中包含 关键字,则记录节点状态为 若含有 关键字,则记录节点状态为 ;若含有 和 ,则记录节点正 在运行;其他条件为 状态; ()通过 命令 得到最近运行的 所有 信息,存储于 中 ()通过 ,得到具体 信息, 解析其输入得到 ()对与 任务,需进一步分析其里面的 运行信息 ()拼接 于结果中; ()配置多线程,使代码并行运行 ()拼接两者的结果,以 为连接条件,最终得到 的运行信息。其格式如下 调度监控模块流程图如下所示: 山国武技论文在丝 Sn heck failed log info get all node execute info gct s ingle node execute info get ooz ic job stat us info rt get the Output get c Conta Monitor Log Data Config file 图调度监控模块流程图 通过这些运行时信息,监控模块提供了全部信息概览、单节点信息查询、按状态 查询节点信息、按运行时冋査询节点信息、生成启停重跑命令等功能。 血缘分析 解析是血缘分析的关键所在,通过解析 得到存储节点和表的血缘 关系。本文使用开源软件来解析 通过实现了一套基于数据仓库 的数据血缘分析工具,来亢成各个数据表、字段之间的关系梳理,进而解决数据回溯和影响 分析等问题。通过解析计算脚本中的语句,分析得到输入输出表、输入输出字段 和相应的处理条件,进行分析展现。 通过对深度优先遍历,遇到操作的 则判断当前的操作,遇到子句则压栈当 前处理,处理子伺。子句处理完,栈弹出。处理字句的过程中,遇到子查询则保存当前子查 询的信息,判断与其父查询的关系,最终形成树形结构;遇到字段或者条件处理则记录当前 的字段和条件信息、组成,嵌套调用。 血缘计算使用图进行建模,图由点 和边组成,点和边包含权值 配置文件提供二维表的存储结构,点的结构可以简单表示为 分别表示点标识符,权值 ,状态 表示是否要停止迭代,出边集合 以该点为起始点的所有边列表。边的结构可以简单表示为 ,分别表 示目标点 和权值 算法流程如下所示: ()从 中得到 和表的对应关系,放入 ()从 中得到 和表的对应关系,放入 中 ()从节点血缘分析中得到节点流向图,对于其中每一条路径,求上游节点插入表和下游 节点访问衣交集,得到表的后置依赖关系,然后对每·条路径求并集; ()同理,对于图的每条路径,求上游节点插入表和下游节点访问表的交集,得到衣的 前置依赖关系,对每一条路径求并集 ()配置多线程并行访问,加快程序执行流程,节点血缘和表血缘流向关系如下所示 山国武技论文在丝 2571321 14541368 114212261221 14691229159 112 图节点血缘流流向图 Tab1—-Tab3 Tab5-Tab6--Tab7-Tab8 Tab2 Tab 佟表血缘流向图 血缘分析是数据仓库管迎平台提供的一个非常重要的基础功能,可以用在影响分析、故 障排査、下线分析、链路分析、寻根溯源及重要性分析等多种场合中,是开发和业务人员了 解全局、了解链路的重要途径 性能分析 在设计开发仓库管理平台后,显著提升了开发和运维人员的工作效率,下表是仓库管理 模块使用前和使用后效率的对比 表性能对比结果 操作内容 仓管埋模块使用就 仓库营埋模块付候后 査看元数据信息于工接入查询,速度慢(分钟级)、易定时产出报表,快捷(砂级) 出错、缺乏安仝性 方便、安仝 错误脚本定位手工下载日志,在文件屮査找信息,人工定日志管理模块自动化完成出错 位,耗费人力 脚本定位 运行时信息手工翻阅大量网页信息(半均张恻贞),运行监控命令,即时查看信息 检索 耗时耗力 按状态、时间筛选只能依靠手工翻阅文档和运行日志,分析梳提供实时按状态、时间筛选脚 脚本 理,不能做到实时 本命令,方便准确 错误脚本重手工定位出错脚本,删除上游已跑完运行重跑命令,自动化完成无 跑 正在跑的脚本,重新跑出错脚本, 需人工介入 流程复杂繁琐 查看节点依赖手工査看开发文档,人工梳坦节点依赖关系 周期性(每天)出报表 耗费人力,易出错 查看表血缘关系依靠节点依赖关系,查看脚本具体内容,人周期性(每天)出报表 I分析表依赖关系,繁琐易出错 山国武花论文在丝 结论 本论文针对手机阅读项日工作遇到的问题,给出了具体的解决方案,设计了该项日数据 仓库的元数据管理模块,实现了可视化査找元数据相关信息、调度任务查询与监控、数据依 赖与血缘分析,使操作人员可以便捷的找到需要的信息。在元数据管理模块中,不仅能够可 视化呈现不同层次的元数据信息,还可针对现有仓库分析其结构设计,优化不合理的 结构设计。在调虔节点监控中,本文提出将本地口志和系统口志相结合,有效的将调度节点 管理起米,一方面通过本地日志得到了脚本的运行状况,一方面结合 日志又得到了与 该脚本对应的任务信息,从而可以通过简单的命令实现之前复杂的操作流程。在数据依赖分 析中,本文通过开源来解析 代码,得到脚本中的输入输出表及其依赖 关系,通过图的算法实现血缘分析 参考文献 北京:清华人学出版 朱斌基于 的日志统计分析系统的设计与实现哈尔滨:哈尔滨工业人学 杨鸿宾,宋明元数据管理平台总体架枃设计硏究计算机系统应用 刘喜平万长选带起源的数据:模型与存储计算机科学, 张明志,基于规范设计的元数据管理系统电脑知识与技术 日志管理与分析权威指南北京:机械工业出 版社, 魏建生高性能重复数据检测与删除技术研究武汉:华中科技大学, 贾文基于分布式计算与数据挖郝的关联性营销的设计与实现北京:北京交通大学,

...展开详情
立即下载 最低0.43元/次 学生认证VIP会员7折
举报 举报 收藏 收藏
分享
336KB
论文研究-手机统一通信平台Gtalk接口研究 .pdf

手机统一通信平台Gtalk接口研究,王丽娜,,目前网络上有各种通信方式,有即时聊天通信软件-QQ、Gtalk、MSN,还有一些SNS交友社区的一些通信方式,依据手机统一通信平台的建设目�

2019-08-15 立即下载
257KB
论文研究-手机病毒的传播机制以及防范策略 .pdf

手机病毒的传播机制以及防范策略,舒琛,, 本文根据手机病毒的传播现状,分析了手机病毒的传播机制,同时得出将计算机病毒的防范机制平移到手机平台是手机病毒防范的良��

2019-08-14 立即下载
382KB
论文研究-手机三维游戏中碰撞检测研究 .pdf

手机三维游戏中碰撞检测研究,吴海宾,,通过介绍移动设备在3D游戏方面的缺陷,提出了一种适合于移动设备的碰撞检测。能使三维游戏在手机这种受限的移动设备上流畅的运行�

2019-08-16 立即下载
721KB
论文研究-手机界面中导航的交互影响因素研究 .pdf

手机界面中导航的交互影响因素研究,秦源,侯文军,3G时代,随着数据传输能力的提升,智能手机快速普及,用户可以摆脱键盘的束缚,通过触摸自如的在手机屏幕上操作。然而与此同时,�

2019-08-19 立即下载
1.19MB
论文研究-手机客户端软件—QR二维条码编解码器的分析与设计 .pdf

手机客户端软件—QR二维条码编解码器的分析与设计,张彦军,,本论文在研究二维条码知识的基础上,根据快速响应矩阵码国家标准设计完成了QR二维码编解码算法过程,尤其是Reed-Solomon纠错算法的电�

2019-08-19 立即下载
535KB
论文研究-手机阅读平台仓库管理模块的设计与实现 .pdf

手机阅读平台仓库管理模块的设计与实现,周鹤,朱晓民,针对手机阅读数据仓库计算和存储的特点,设计并实现了符合手机阅读基地Hadoop Hive数据仓库自身特点的数据仓库管理系统,保证数据信�

2019-08-19 立即下载
207KB
论文研究-手机信息垂直搜索引擎的设计与实现 .pdf

手机信息垂直搜索引擎的设计与实现,华大年,李胜喜,文章研究了垂直搜索引擎的一般特点,分析全文索引开发包Lucene与开源网络爬虫Heritrix的架构与主要模块功能并根据实际需要进行了相关�

2019-08-16 立即下载
227KB
论文研究-基于手机信息的家电控制器的设计 .pdf

基于手机信息的家电控制器的设计,王钰栋,尹洪胜,论文以GSM移动网络作为信息传输平台,设计了一个通过短消息进行远程家电控制的组件。介绍了基于TC35i通信模块和单片机的远程家电控�

2019-08-15 立即下载
362KB
论文研究-手机电视中DVB-IPDC与CMMB对数据业务支持的介绍和对比 .pdf

手机电视中DVB-IPDC与CMMB对数据业务支持的介绍和对比,庞文宇,雷友珣,本文首先介绍了两种不同的手机电视标准,一个是在欧洲已经成为标准的DVB,一个是在中国尚未成为标准但却已经广泛使用的CMMB。文章��

2019-08-14 立即下载
423KB
论文研究-基于手机通讯录的移动SNS系统设计 .pdf

基于手机通讯录的移动SNS系统设计,杨春,乔秀全,SNS(Social Networking Services)在全球迅速发展,但是面临着用户流失的致命难题。本文充分利用手机通讯录所蕴含的社会关系用于构建SNS社区��

2019-08-18 立即下载
954KB
论文研究-基于Android手机地图服务系统的设计与实现 .pdf

基于Android手机地图服务系统的设计与实现,柳婷,张笑燕,介绍了Google发布的新一代智能手机平台Android的系统架构,以及开发手机地图的相关类。根据用户需求进行了相应的功能设计和数据库设��

2019-08-15 立即下载
776KB
论文研究-CDMB手机电视标准产业化发展研究 .pdf

CDMB手机电视标准产业化发展研究,王喆,李智渊,CDMB手机电视标准是中国标准化协会发布的中国自主知识产权的手机电视标准,由于其商用前景良好,产业化进程快,已成为与广电部CMMB�

2019-08-17 立即下载
298KB
论文研究-基于手机平台的Facebook接口技术研究 .pdf

基于手机平台的Facebook接口技术研究,黄维,,本文介绍了Facebook开发平台、网络编程接口WinInet、URL编码以及XML(Extensible Markup Language)解析的原理及应用,并在此基础上,设计并实现�

2019-08-16 立即下载
426KB
论文研究-基于Android平台的电子书阅读器的设计与实现 .pdf

基于Android平台的电子书阅读器的设计与实现,赖穆彬,邹仕洪,本文主要阐述了在android平台上十分流行的电子书阅读器的设计与实现,具有智能断章,翻页特效,场景模式切换,阅读字体调节,用户��

2019-08-16 立即下载
283KB
论文研究-安卓手机界面系统图标的辨识度分析 .pdf

安卓手机界面系统图标的辨识度分析,侯文军,杨洋,相比于IOS手机系统和Windows手机系统,安卓手机系统更加开放与多元,这也造成了不同品牌的手机图标不统一的情况,给用户的图标认知��

2019-08-19 立即下载
252KB
论文研究-智能手机直接屏幕访问技术的原理和应用 .pdf

智能手机直接屏幕访问技术的原理和应用,古益杰,,本文给出了在智能手机操作系统Symbian OS上面进行游戏开发的屏幕访问技术的原理和应用。论文首先讨论了智能手机和计算机的区别和在��

2019-08-15 立即下载
571KB
论文研究-基于Android手机的老人跌倒检测方法的研究与设计 .pdf

基于Android手机的老人跌倒检测方法的研究与设计,段亚素,余文,伴随着中国人口老龄化及中国家庭结构的变化,空巢家庭比重逐年增加。为了减轻中青年抚养老人的压力,本文借助Android手机普遍性这��

2019-08-16 立即下载
1.14MB
论文研究-基于手机线性加速度传感器的手势动作认证方案的研究与仿真 .pdf

基于手机线性加速度传感器的手势动作认证方案的研究与仿真,张子帅, 辛阳,针对手机用户认证登录安全问题,设计实现了一种基于手机线性加速度传感器的人体手势动作认证方案。结合离散数据差分法和线性插值��

2019-08-25 立即下载
225KB
论文研究-智能手机导航系统的设计与实现 .pdf

智能手机导航系统的设计与实现,佟双,,本文给出了一种在智能手机操作系统Symbian OS上面实现GIS导航功能的方法。本文讨论了GIS导航系统目前发展的现状、GIS导航系统中的定位��

2019-08-14 立即下载
275KB
论文研究-基于OTA STK技术的手机银行系统研究 .pdf

基于OTA STK技术的手机银行系统研究,王乐,邹俊伟,本文首先分析了目前国内手机银行常用的几种技术的优缺点,并针对其缺点,提出了一种基于OTA STK技术的手机银行系统。系统的创新点��

2019-08-17 立即下载
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐