2018京东大数据技术白皮书.pdf

所需积分/C币:50 2019-08-16 17:05:33 4.29MB PDF
收藏 收藏 2
举报

2018年12月7日,京东大数据与智能供应链事业部发布《2018京东大数据技术白皮书》。众所周知,大数据是企业的基本生产资料,数据信息是企业宝贵的资产。不同于其他资产,数据资产主要在企业运营过程中产生,较易获取,但要持续积累、沉淀和做好管理却并不容易,这是一项长期且系统性的工程。未经“雕琢”的数据是一组无序、混乱的数字,并不能给企业带来何种价值,从庞杂晦涩的数据中挖掘出“宝藏”充满着挑战,这需要将业务、技术与管理三者相互融合起来进行创新。 京东作为一家业内领先的互联网科技公司,完整的产业链条带来了价值可沽的海量大数据,丰富的业务场景也为技术发展提供了最佳创新土壤。从认知、探索到今天京东技术上
京东大数据技术白皮书 目 录 序言 3 前言,,,…,… 1京东大数据的发展历程, 2京东大数据的技术体系,……………,10 21数据采集和预处理. 10 22流量数据采集 13 23数据存储体系, ………22 24离线计算环境 34 2.5实时计算环境 37 26杌器学习环境 40 27任务管理和调度 n,43 28资源监控和运维 49 3京东大数据的数据管理 ……………54 31数据架构设计 55 32数据资产管理…,…,…,…,………… ∴57 33统一指标体系 65 34数据安全管理…… n…………66 35数据服务管理 n58 4京东大数据的数据产品 75 41京东商智,… 75 42智能营销…,, n76 京东大数据技术白皮书 4.3数据管家 44祖冲之………… 78 5京东大数据的应用场景 80 51营销领域……,, 80 52物流领域……………81 53供应链领域.… 。看音。曲看。。自。。。看。。 82 54智能零售 85 5.5金融业务创訢…… n86 56时尚创新…… 88 57人工智能,…,…,…,…,……,…,…,……,…,……,……………89 6京东大数据的合作生态… 93 7京东大数据的特点… 95 7.1高可用和高性能 95 72一站式服务平台… ……98 73可靠的安全保障… 99 8京东大数据展望 垂。B。。。 ∴103 8.1融合统一… 103 82开放合作… 109 83技术前嗆 110 结语 ····。· 117 参考文献………… 118 2 京东大数据技术白皮书 序言 众所周知,大数据是企业的基本生产资料,数据信息是企业 宝贵的资产。不同于其他资产,数据资产主要在企业运营过程中 产生,较易获取,但要持续积累、沉淀和做好管理却并不容易, 这是一项长期且系统性的工程。未经“雕琢”的数据是一组无序、 混乱的数字,并不能给企业带来何种价值,从庞杂晦涩的数据中 挖掘出“宝藏”充满着挑战,这需要将业务、技术与管理三者相 互融合起来进行创新。 京东作为一家业内领先的互联网科技公司,完整的产业链条 带来了价值可沽的海量大数据,丰富的业务场景也为技术发展提 供了最佳创新土壤。从认知、探索到今天京东技术上的百花齐放, 我们经历了最为艰苦的创新和付出。业务的复杂与多元化,数据 的飞速増长,给我们带来了很多棘手问题,但也使得大数据平台 拥有更强大的能力,形成了一套完整的技术体系和有效的数据管 理方法,并在实践中得以验证和夯实。 京东大数据平台作为京东集团的数据中台,支撑了京东无界 零售的数据运营和创新。《京东大数据技术白皮书》总结了大数 据技术在京东的落地和成长,分享了大数据技术体系和管理架构, 阐述了大数据在京东的典型业务应用场景,并对大数据的技术方 向进行了展望,是一次对京东大数据平台的最全面解读,希望我 们的实践和思考能给同行以启发和参考,我们期待和业界一起推 京东大数据技术白皮书 动国内大数据产业的进步和发展。 京东集团首席技术官 张晨 4 京东大数据技术白皮书 前言 大数据概念近年来受到高度关注,大数据在各个行业的应用 及其带来的影响也引起越来越多的讨论。大数据正在从单纯的技 术概念向实际部署应用转变;从少数领域向众多领域渗透;从企 业内部向各产业与公共服务方向扩展。目前,无论国内还是国外, 大数据技术都在经历前所未有的快速演变,以满足各种应用的需 求 我囯已将大数据发展确定为国家战略,强调要瞄准世界科技 前沿,集中优势资源突破大数据核心技术,加快枃建自主可控的 大数据产业链、价值链和生态系统。大数据产业在国内发展得如 火如茶,据统计,2016年大数据产业规模达14500亿元,2017年 达19570亿元,到2020年将达到5万亿元。大数据技术已经在如 电子商务、政务、民生、金融、工业、医疗等多个领域中广泛应 用 从国内的大数据技术和行业应用发展来看,大数据技术的基 础架构技术已日趋成熟,大数据领域由技术创新驱动转向应用创 新驱动的趋势开始显现,但更多的传统企业在如何建设大数据平 台,如何利用大数据来驱动企业业务发展上仍然缺乏经验,这在 定程度上制约了大数据技术的大规模产业应用。 京东拥有全渠道零售和端到端的高质量大数据,包含了用户 的浏览和消费行为、商品制造和销售、物流仓储配送以及客服与 京东大数据技术白皮书 售后等丰富完整的信息。同时,京东业务中包含有大量丰富的大 数据应用场景,是大数据实践的最佳场所。早在2010年,京东集 团就启动了大数据领堿的研发和应用探索工作,经过八年来的持 续投入,京东大数据平台无论从规模、技术先进性,还是体系的 完整性等方面均已达到国内一流水平。作为支撑公司数据运营的 重要阵地,目前已拥有集群规模40000-服务器,数据规模达 800PB+,每日的JOB数100万+,业务表900万+,每日的离线 数据日处理量30PB十,单集群规模达到7000+台,实时计算每天 消费的数据记录近万亿条。 京东大数据平台建设了完整的技术体系,包括离线计算、实 时计算和机器学习平台,可以满足多种复杂应用场景的计算任务。 元数据管理、数据质量管理、任务调度、数据开发工具、流程中 心等构成了全面的数据运营工具。分析师、指南针等数据应用产 品提供了便利的教据分析功能,以及敏感数据倸护、数据权限控 制等策略方案,能够最大程度地保护数据资产的安全。 京东大数据在驱动企业业务增长,提升运营效卒,为客户提 供个性化、高品质产品及服务上发挥了重要作用。利用大数据分 析和挖掘,京东打造了个性化商城,自主研发了智能门店解决方 案,打造了智能供应链体系,提髙了物流配送的效,实现了知 人、知货、知场景的购物体验。京东大数据的应用已渗透到了业 务的各个环节 近几年,京东大数据承担了包括大数据和人工智能领域在内 京东大数据技术白皮书 的多项囯家级重点研发项目。2017年,京东获得了国家“大数 据智能管理与分析技术″囯家地方联合工程硏究中心的授牌。这 些都是国家对京东大数据实力的认可,是京东技术实力的体现。 京东是“开放的京东”,随着国家大数据战略的逐步落实,我 们希望能输出京东的大数据技术能力,建设开放的技术平台,借 助技术和数据为政府和社会创造更多价值,我们希望借此白皮书 的发布,将京东的大数据技术实践分享出来,为其他企业提供参 考,同时,我们也欢迎更多的合作伙伴与我们一道,共同在大数 据领堿深入探索,为我国大数据产业的发展贡献力量。 7 京东大数据技术白皮书 1京东大数据的发展历程 2010年,京东集团启动了在大数据领域的研发和应用探索工 作,正式组建京东大数据部,并确立了数据集中式的数据服务模 式,成为企业大数据最早的实践者之一。 大数据平台的发展是随着京东业务同步发展的,由原来的传 统数据仓库模式逐步演变为基于Hado的分布式计算架构,如 图1所示。技术领域覆盖 Hadoop、 Kubcrnctes、 Spark、Hivc、 alluxio、 Presto、 Hbase、 Storm、 Flink、 Kafka等大数据全生态体 系。目前拥有研发团队500+人,累计获得技术专利400+个。 经过多年的持续投入,京东大数据已成为企业大数据的领跑 者。目前已拥有集群规模4000服务器,单集群规模达到7000 台,数据规模δ0B+,日增数据1P+,日运行JOB数100万+, 业务表900万+张。每日的离线数据日处理30PB+,实时计算每 天消费的行数近万亿条 京东大数据 JD Big Data 800PB Hadoop 实现提供 助式的 Mysql 大数据处理全流左解决方案 Total amoun of data Oracle Z018年8月数丝计 集群规模 ⑨ 计算能力 服务器规榄:万台 日运行jb数100万 012京东大数据戌立 存储能力 图1:京东大数据发展历程 8

...展开详情
试读 120P 2018京东大数据技术白皮书.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    一个资源只可评论一次,评论内容不能少于5个字
    three_man 很好, 有参考的价值,不过现在评论还能返积分么
    2020-09-28
    回复
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    2018京东大数据技术白皮书.pdf 50积分/C币 立即下载
    1/120
    2018京东大数据技术白皮书.pdf第1页
    2018京东大数据技术白皮书.pdf第2页
    2018京东大数据技术白皮书.pdf第3页
    2018京东大数据技术白皮书.pdf第4页
    2018京东大数据技术白皮书.pdf第5页
    2018京东大数据技术白皮书.pdf第6页
    2018京东大数据技术白皮书.pdf第7页
    2018京东大数据技术白皮书.pdf第8页
    2018京东大数据技术白皮书.pdf第9页
    2018京东大数据技术白皮书.pdf第10页
    2018京东大数据技术白皮书.pdf第11页
    2018京东大数据技术白皮书.pdf第12页
    2018京东大数据技术白皮书.pdf第13页
    2018京东大数据技术白皮书.pdf第14页
    2018京东大数据技术白皮书.pdf第15页
    2018京东大数据技术白皮书.pdf第16页
    2018京东大数据技术白皮书.pdf第17页
    2018京东大数据技术白皮书.pdf第18页
    2018京东大数据技术白皮书.pdf第19页
    2018京东大数据技术白皮书.pdf第20页

    试读已结束,剩余100页未读...

    50积分/C币 立即下载 >