淘宝云梯分布式计算平台整体架构

所需积分/C币:10 2014-12-17 9.34MB PDF
评分

淘宝云梯分布式计算平台整体架构,淘宝云计算,系统整体架构。
交淘宝网 淘我欢! Taobao. com 目录 系统架构 数据同步方案 调度系统 元数据应用 淘宝网 淘我欢 ao. com 系统整体架构 Oracle备库 MySQL备库 日志系统 爬虫数据 Gateway Servers DataEXchange DBSync Time Tunnel 云梯1 数据流向 Map reduce Streaming Hive jobs Java jobs Jobs 数据平台搜索广 B 支付宝 口碑 B2B 云梯2 数据魔方 量子统计 淘数据 推荐系统 搜索排行 ④⑧淘宝网 淘我欢! Taobao. com 淘宝云计算介绍 用户备库交易备库日志数据RAC20 Gate Way Gate Way 数据平台 云梯1 Jobtracker NameNode DataNod DataNode DataNode Datanode TaskTracker askTracker TaskTracker lask tracker DataNode DataNode DataNode DataNode TaskTracker Task Tracker Task Tracker Task Tracker Hadoop集群 交淘宝网 淘我欢! Taobao. com 目录 系统架构 数据同步方案 调度系统 元数据应用 淘宝网 淘我欢 Taobao. com 数据同步方案—概览 数据源 增量实时同步 Hadoop 集群 计算结果 Mysq备库 Dbsync ysg 全量/非实时同步 oracle备库 Time Tunnel 2 HDFS DataX 日志数据 全量/非实时同步 oracle 爬虫数据 DataⅩ MySQL. NGHX Time tunnel data taobao dw basis ④⑧淘宝网 淘我欢! Taobao. com 数据同步方案—实时同步VS非实时同步 DB 数据仓库 DB 数据仓库 实时同步 实时同步 实时同步 基于实时数据 的计算开始 实时同步 基于天增量的 计算任务开始 基于全量的计 时 低负载实时同步 算任务开始 无负载非实时同步 间 轴 DB数据同步到00点 实时同步 并增量到全量 高负载 天增量 数据同步 合并增量到全量 交淘宝网 淘我欢! Taobao. com 数据同步方案— Time Tunne2介绍 Router Zookeeper Time Tunne是一个实时数据传输平台, Time tunne的主要功能就是实时完成海量数据 的交换,因此 Time Tunnel的业务逻辑主要也 Lon balance 就有两个:一个是发布数据,将数据发送到 Time tunnel;一个是订阅数据,从 Time tunne 读取自己关心的数据。 Time tunnel作为一个 实时数据传输平台具有以下特点 高效性:单点1k数据可以到4万TPs 高可靠性:M-S模式时保证数据不丢失 Client 高可用性:单点故障不影响整个集群服务 NQ顺序性:当没有故障发生时,保证所有传输都 是顺序的,或者说一次连接内的传输是顺序的。 Broker Time tunnel taobao dw basis 淘宝网 淘我欢 Taobao. com 数据同步方案— Dbsync介绍 Oracle server主库 dbsync是一个用于同步服务库数据到 HDFS的产品,通过分析数据库服务器的 log文件来提取相应的数据库动作,进而达 2. Quer data 到数据库到 HADOOP的数据同步,供相关 Dbsync client/server 部门提取增量数据。 1. Rowid and other 0 Dbsync实时同步性能 记录大小速度 Oracle server((备厍) 3. DFS Write 2K 4M/s /Dbsync client 9K 10M/s 应用场景 数据量800G HDFS 00:10分备库打开 非实时同步完成时间0:55 实时同步完成时间0:25

...展开详情
立即下载 最低0.43元/次 身份认证VIP会员低至7折
举报 举报 收藏 收藏
分享
9.34MB
淘宝云梯分布式计算平台整体架构

淘宝云梯分布式计算平台整体架构,淘宝云计算,系统整体架构。

2014-12-17 立即下载
5.14MB
盛大云梯客户端(Bambook) v0.98.zip

盛大云梯的Bambook客户端软件集合了在线书库、电子书下载、电子书制作和 Bambook 电子书管理等功能于一身。 无论从界面还是功能上来看,盛大云梯都很类似于 iPhone/iPod 的PC客户端软件 iTunes。从保护知识版权的初衷出发,Bambook 用户可以通过这款盛大云梯来访问盛大官方的“云中书城”,从海量在线电库中选择并下载您感兴趣的电子书,再通过盛大云梯的同步功能将电子书从PC同步到 Bambook 锦书阅读器中。具体的操作,基本和 iTunes 别无二致,此处不再详述。 此外,盛大云梯内置了电子书制作工具,可以将你平日里收集的各种电子文档转换成 Bambook 支持的

2019-07-13 立即下载
26.07MB
锦书云梯1.0.zip

好入都没有使用下载图书啦,硬件已经下线,拥有锦书看书本的你,还在找下载软件吗?在这里,还是免费的,快来下载吧!

2019-05-27 立即下载
4.68MB
盛大云梯,电子书阅读器

盛大云梯,电子书阅读器盛大云梯,电子书阅读器盛大云梯,电子书阅读器

2011-11-15 立即下载
40.95MB
云梯端CRM通用版 v20151018.zip

云梯端CRM通用版简介 云梯端CRM通用版,同时支持B/S和C/S构架,支持access数据库或sql数据库,可以用于互联网、局域网或是单机,安装方便(下载即可使用,无复杂安装过程),界面简洁,功能强大,容易上手,设置灵活,除了常用的"CRM客户管理系统"、"进销存"、"OA办公管理"外,还为多个行业制作了行业专用版,使管理更贴切实际。在使用方面也有专家指导,让你在最短时间内看到软件为您带来的效益。因特达管理软件自定义功能十分强大,可自定义所需模块、字段、流程,就算是工具栏上的按钮也能随意修改或是增加,为你的二次开发省去了不少时间。因特达管理系统在实施方面,也提供了在线试用及下载试用方式,让

2019-07-16 立即下载
11MB
淘宝大数据平台资料汇总

淘宝云梯分布式计算平台,月光宝盒双11-HBase集群应用和优化经验,淘宝-林昊_HBase简介与实践分享

2014-09-01 立即下载
2.81MB
云梯基础课程答案

云梯基础课程答案。微信朋友圈广告资源详解。微信公众号广告资源

2018-12-27 立即下载
43.24MB
云梯端就业培训管理系统 v2016.3.zip

云梯端就业培训管理系统简介 云梯端就业培训管理系统主要用于各个面向就业的就业技能培训机构的客户管理,本系统注重在使用简单,功能强大,自助定义,简单的就业培训行业流程。 云梯端就业培训管理系统功能特色: 强大的客户管理系统,可以追踪客户的就业情况,包括面试公司,面试记录等,还可以添加竞争对手的信息,从多方面满足您的使用需求。 云梯端就业培训管理系统登录界面 云梯端就业培训管理系统后台管理 后台路径:安装完成后点击直接进入 用户名与密码:admin 后台页面 相关阅读 同类推荐:站长常用源码

2019-07-05 立即下载
187KB
云梯 蓝天白云 飞机 简约蓝商务ppt模板.rar

云梯,天梯,蓝天白云,飞机飞过,简约蓝,苏雅蓝商务ppt模板。

2019-09-08 立即下载
40.95MB
云梯端CRM通用版 v20151018

云梯端CRM通用版,同时支持B/S和C/S构架,支持access数据库或sql数据库,可以用于互联网、局域网或是单机,安装方便(下载即可使用,无复杂安装过程),界面简洁,功能强大,容易上手,设置灵活,除了常用的"CRM客户管理系统"、"进销存"、"OA办公管理"外,还为多个行业制作了行业专用版,使管理更贴切实际。在使用方面也有专家指导,让你在最短时间内看到软件为您带来的效益。因特达管理软件自定义功能十分强大,可自定义所需模块、字段、流程,就算是工具栏上的按钮也能随意修改或是增加,为你的二次开发省去了不少时间。因特达管理系统在实施方面,也提供了在线试用及下载试用方式,让你充分了解后再购买,免除了

2019-10-16 立即下载
44.38MB
云梯端OA系统 v2014.11

云梯端oa系统2014以下几个特点:1、基于B/S架构,应用灵活基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。2、完善的客户跟进系统平台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。3、灵活的资料导入导出设计平台支持外部导入操作,您可以将公司的客

2019-10-18 立即下载
39.1MB
云梯端物业管理系统 v2016.4

云梯端物业管理系统,主要用于各个小区的物业管理面,它涵盖了业主信息,房屋信息,住户信息,入住登记信息,房屋消费信息,房屋消费走表明细信息,房屋装修信息,业主投诉信息等多种信息管理功能,有了它,相信您的物业管理的效率会更上一层楼。

2019-10-31 立即下载
43.24MB
云梯端就业培训管理系统 v2016.3

云梯端就业培训管理系统主要用于各个面向就业的就业技能培训机构的客户管理,本系统注重在使用简单,功能强大,自助定义,简单的就业培训行业流程。功能特色:强大的客户管理系统,可以追踪客户的就业情况,包括面试公司,面试记录等,还可以添加竞争对手的信息,从多方面满足您的使用需求。

2019-10-18 立即下载
44.36MB
云梯端进销存系统 v2014.11.15

云梯端进销存系统2014以下几个特点:1、基于B/S架构,应用灵活 基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。2、完善的客户跟进系统平台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。3、灵活的资料导入导出设计平台支持外部导入操作,您可以将公司

2019-11-11 立即下载
43.78MB
云梯端CRM客户管理系统 v2014.11.07

云梯端客户管理系统2014以下几个特点:1、基于B/S架构,应用灵活 基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。2、完善的客户跟进系统平台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。3、灵活的资料导入导出设计平台支持外部导入操作,您可以将公

2019-10-18 立即下载
43.9MB
云梯端crm客户管理系统.rar

云梯端客户管理系统2014以下几个特点: 1、基于B/S架构,应用灵活 基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。 2、完善的客户跟进系统 **台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。 3、灵活的资料导入导出设计 **台支持

2019-08-29 立即下载
48.44MB
云梯端OA系统 v2014.11.zip

云梯端oa系统2014以下几个特点: 1、基于B/S架构,应用灵活 基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。 2、完善的客户跟进系统 平台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。 3、灵活的资料导入导出设计 平台支持外部导

2019-07-05 立即下载
13.37MB
阿里巴巴Cobar架构设计与实践+数据库优化等4篇

阿里巴巴Cobar架构设计与实践+淘宝mysql数据库高可用的设计实现-tmha-public+淘宝前台系统性能分析与优化+淘宝云梯分布式计算平台整体架构

2018-11-19 立即下载
44.01MB
云梯端物业管理系统 v2015.1.rar

云梯端物业管理系统2015以下几个特点: 1、基于B/S架构,应用灵活 基于B/S架构,互联网、局域网、本地电脑皆可使用,不需安装客户端,可无限范围覆盖,使用简单方便。随时随地出差在外或者在家,也不用担心无法掌控公司销售情况,更适合分公司和办事机构的远程应用。 2、完善的客户跟进系统 **台提供了完善的客户跟进系统,从发现客户到销售成功再到售后服务,每一个流程都提供实时的跟进记录操作,可以让您轻松的记录下与每个客户每次接洽的具体时间、接洽人员、接洽内容,而且管理层或者销售人员之间可对每次洽谈情况进行多次点评,同时也可记录下点评人员的时间和姓名。 3、灵活的资料导入导出设计 **台支

2019-08-29 立即下载
125B
Excel图表实战技巧精粹系列视频教程

资源名称:Excel图表实战技巧精粹系列视频教程资源目录:【】C01_玩转图表数据系列_Excel图表实战技巧精粹视频教程【】C02_高级饼图制作_Excel图表实战技巧精粹视频教程【】C03_大事记图与云梯图_Excel图表实战技巧精粹视频教程【】C04_制作甘特图与步进图_Excel图表实战技巧精粹视频教程【】C05_交互式图表之一_Excel 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。

2019-07-23 立即下载
img
chineselite

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐