京东大数据技术白皮书-2018.12-120页.pdf

所需积分/C币:9 2019-09-10 10:06:51 7.83MB PDF
收藏 收藏
举报

京东大数据技术白皮书-2018.12-120页.pdf
京东大数据技术白皮书 目 录 序言 3 前言…………,………………………………………5 1京东大数括的发展历程 ●;·D。e。看垂·D。看。·。D。。。看。D。·。。垂看·。。e。垂看。。D。垂看·自自。。看看自。。看着看 2京东大数据的技术体系, n…10 21数据采集和预处理…… 10 22流量数据采集 13 23数据存储体系………22 24离线计算环境…… 34 2.5实时计算环境 37 26机器学习环境 40 27任务管理和调度 43 28资源监控和运维,…,, 49 3京东大数据的数据管理 54 31数据架构设计 55 32数据资产管理 ∴57 33统一指标体系… 65 34数据安全管理………,…,…,……,…,………,………………,66 35数据服务管理…,…,…, 68 4京东大数据的数据产品… 75 41京东商智…… 75 4.2智能营销 76 1 京东大数据技术白皮书 4.3数据管家 77 44祖冲之.… …78 5京东大数据的应用场景 a80 51营销领域.…………80 52物流领域…………81 53供应链领域………………82 54智能零售……… 85 5.5金融业务创新…… ∴86 56时尚创新…… 88 57人工智能 89 6京东大数据的合作生态 93 7京东大数据的特点 95 71高可用和高性能…, 95 72一站式服务平台… 98 73可靠的安全保障…… 99 8京东大数据展望 ∴103 81融合统 103 82开放合作…,,…,…,……,………,…,……………109 8.3技术前瞻,… 110 结语…… tttD。曲· 117 参考文献 118 2 京东大数据技术白皮书 序言 众所周知,大数据是企业的基本生产资料,数据信息是企业 贵的资产。不同于其他资产,数据资产主要在企业运营过程中 产生,较易获取,但要持续积累、沉淀和做好管理却并不容易, 这是一项长期且系统性的工程。未经“雕琢”的数据是一组无序、 混乱的数字,并不能给企业带来何种价值,从庞杂晦涩的数据中 挖掘出“宝藏″充满着挑战,这需要将业务、技术与管理三者相 互融合起来进行创新。 京东作为一家业内领先的互联网科技公司,完整的产业链条 带来了价值可沾的海量大数据,丰富的业务场景也为技术发展提 供了最佳创新土壤。从认知、探索到今天京东技术上的百花齐放, 我们经历了最为艰苦的创新和付出。业务的复杂与多元化,数据 的飞速增长,给我们带来了很多棘手问题,但也使得大数据平台 拥有更强大的能力,形成了一套完整的技术体系和有效的数据管 理方法,并在实践中得以验证和夯实 京东大数据平台作为京东集团的数据中台,支撑了京东无界 零售的数据运营和创新。《京东大数据技术白皮书》总结了大数 据技术在京东的落地和成长,分享了大数据技术体系和管理架构, 阐述了大数据在京东的典型业务应用场景,并对大数据的技术方 向进行了展望,是一次对京东大数据平台的最全面解读,希望我 们的实践和思考能给同行以启发和参考,我们期待和业界一起推 京东大数据技术白皮书 动国内大数据产业的进步和发展。 京东集团首席技术官 张晨 4 京东大数据技术白皮书 前言 大数据概念近年来受到高度关注,大数据在各个行业的应用 及其带来的影响也引起越来越多的讨论。大数据正在从单纯的技 术概念向实际部署应用转变;从少数领域向众多领域渗透;从企 业内部向各产业与公共服务方向扩展。目前,无论国内还是国外, 大数据技术都在经历前所未有的快遠演变,以满足各种应用的需 求 我囯已将大数据发展确定为国家战略,强调要瞄准世界科技 前沿,集中优势资源突破大数据核心技术,加快枃建自主可控的 大数据产业链、价值链和生态系统。大数据产业在国内发展得如 火如荼,据统计,2016年大数据产业规模达14500亿元,2017年 达19570亿元,到2020年将达到5万亿元。大数据技术已经在如 电子商务、政务、民生、金融、工业、医疗等多个领域中广泛应 用 从国内的大数据技术和行业应用发展来看,大数据技术的基 础架构技术已日趋成熟,大数据领域由技术创新驱动转向应用创 新驱动的趋势开始显现,但更多的传统企业在如何建设大数据平 台,如何利用大数据来驱动企业业务发展上仍然缺乏经验,这在 定程度上制约了大数据技术的大规模产业应用。 京东拥有全渠道零售和端到端的高质量大数据,包含了用户 的浏览和消费行为、商品制造和销售、物流仓储配送以及客服与 京东大数据技术白皮书 售后等丰富完整的信息。同时,京东业务中包含有大量丰富的大 数据应用场景,是大数据实践的最佳场所。早在2010年,京东集 团就启动了大数据领域的研发和应用探索工作,经过八年来的持 续投入,京东大数据平台无论从规模、技术先进性,还是体系的 完整性等方面均已达到国内一流水平。作为支撑公司数据运营的 重要阵地,目前已拥有集群规模40000服务器,数据规模达 800PB+,每日的JOB数100万+,业务表900万+,每日的离线 数据日处理量30PB+,单集群规模达到7000+台,实时计算每天 消费的数据记录近万亿条。 京东大数据平台建设了完整的技术体系,包括离线计算、实 时计算和机器学习平台,可以满足多种复杂应用场景的计算任务。 元数据管理、数据质量管理、任务调度、数据开发工具、流程中 心等构成了全面的数据运营工具。分析师、指南针等数据应用产 品提供了便利的数据分析功能,以及敏感数据保护、数据权限控 制等策略方案,能够最大程度地保护数据资产的安全。 京东大数据在驱动企业业务增长,提升运营效率,为客户提 供个性化、高品质产品及服务上发挥了重要作用。利用大数据分 析和挖掘,京东打造了个性化商城,自主研发了智能门店解决方 案,打造了智能供应链体系,提高了物流配送的效率,实现了知 人、知货、知场景的购物体验。京东大数据的应用已渗透到了业 务的各个环节。 近几年,京东大数据承担了包括大数据和人工智能领域在内 京东大数据技术白皮书 的多项国家级重点研发项目。2017年,京东获得了国家“大数 据智能管理与分析技术″国家地方联合工程研究屮心的授牌。这 些都是国家对京东大数据实力的认可,是京东技术实力的体现。 京东是“开放的京东”,随着国家大数据战略的逐步落实,我 们希望能输岀京东的大数据技术能力,建设开放的技术平台,借 助技术和数据为政府和社会创造更多价值,我们希望借此白皮书 的发布,将京东的大数据技术实践分享出来,为其他企业提供参 考,同时,我们也欢迎更多的合作伙伴与我们一道,共同在大数 据领域深入探索,为我国大数据产业的发展贡献力量。 7 京东大数据技术白皮书 1京东大数据的发展历程 2010年,京东集园启动了在大数据领域的研发和应用探索工 作,正式组建京东大数据部,并确立了数据集中式的数据服务模 式,成为企业大数据最早的实践者之一。 大数据平台的发展是随着京东业务同步发展的,由原来的传 统数据仓库模式逐步演变为基于 Hadoop的分布式计算架构,如 图1所示。技术领域覆盖 Hadoop、 Kubernetes、 Spark、Hive、 alluvia、 Presto、 Hbase、 Storm、 Flink、 Kafka等大数据全生态体 系。目前拥有研发团队500+人,累计获得技术专利400+个。 经过多年的持续投入,京东大数据已成为企业大数据的领跑 者。目前已拥有集群规模40000服务器,单集群规模达到700 台,数据规模8OPB+,日增数据1P+,日运行JOB数100万+, 业务表900万+张。每日的离线数据日处理30PB+,实时计算每 夭消费的行数近万亿条。 京东大数据 JD Big Data H 800PB 实现提供一站式、自助式的 Mysql 大数据处理全流程解决方案 loral amcunt of data Oracle 2018年8月数据统计 集群规模 计算能力 服务器规4万台 MSSQL 012京东大数据成立 存储能力 只存情700P3,日1000T8 图1:京东大数据发展历程 8

...展开详情
试读 120P 京东大数据技术白皮书-2018.12-120页.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    weixin_38743968 如果觉得有用,不妨留言支持一下
    2019-09-10
    • 至尊王者

      成功上传501个资源即可获取
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    京东大数据技术白皮书-2018.12-120页.pdf 9积分/C币 立即下载
    1/120
    京东大数据技术白皮书-2018.12-120页.pdf第1页
    京东大数据技术白皮书-2018.12-120页.pdf第2页
    京东大数据技术白皮书-2018.12-120页.pdf第3页
    京东大数据技术白皮书-2018.12-120页.pdf第4页
    京东大数据技术白皮书-2018.12-120页.pdf第5页
    京东大数据技术白皮书-2018.12-120页.pdf第6页
    京东大数据技术白皮书-2018.12-120页.pdf第7页
    京东大数据技术白皮书-2018.12-120页.pdf第8页
    京东大数据技术白皮书-2018.12-120页.pdf第9页
    京东大数据技术白皮书-2018.12-120页.pdf第10页
    京东大数据技术白皮书-2018.12-120页.pdf第11页
    京东大数据技术白皮书-2018.12-120页.pdf第12页
    京东大数据技术白皮书-2018.12-120页.pdf第13页
    京东大数据技术白皮书-2018.12-120页.pdf第14页
    京东大数据技术白皮书-2018.12-120页.pdf第15页
    京东大数据技术白皮书-2018.12-120页.pdf第16页
    京东大数据技术白皮书-2018.12-120页.pdf第17页
    京东大数据技术白皮书-2018.12-120页.pdf第18页
    京东大数据技术白皮书-2018.12-120页.pdf第19页
    京东大数据技术白皮书-2018.12-120页.pdf第20页

    试读已结束,剩余100页未读...

    9积分/C币 立即下载 >