大数据科普：大数据后台层次角色及数据流向.pdf

大数据科普：大数据后台层次角色及数据流向.pdf 大数据科普是当前非常热门的领域，大数据后台层次角色及数据流向是其中一个重要的方面。本文将详细介绍大数据后台层次角色及数据流向的相关知识点。 大数据后台层次角色可以分为三个方面：大数据存储、大数据统计和大数据预测。 大数据存储是大数据技术中最重要的一环，它解决了大数据存储的问题，使得后续的处理成为可能。大数据存储的重要性是毋庸置疑的。 大数据统计是对海量数据的分析统计和轻度挖掘，例如统计海量用户产品的日/月活跃度、用户基于地区的分布、用户历史操作、运营侧数据指标等。这些需要大数据计算平台的支持才能够实现，对于拥有海量用户的互联网公司来说是不可或缺的技术。 大数据预测是最具争议的领域。事实上，预测必有误差、必有小概率事件，大数据预测的背后是各种机器学习/模型识别等深度挖掘算法，这些算法只是工具而已，用得好不好了、恰不恰当还要看应用的领域和使用者的能力。 大数据预测想要做到精准，门槛非常高，所以有很多声称使用大数据预测的产品，实际效果往往不佳，给人们造成了大数据预测普遍不行的印象。 大数据存储和大数据统计是海量用户产品不可或缺的技术，而对大数据预测技术，小概率事件必然出现，且并不是每个人都能运用得好。所以不能笼统地说大数据没用处，要看具体领域，以及产品背后的团队。 大数据经过最近几年的发展，其基础设施——各个大数据存储和计算平台已经比较成熟，行业主流的大数据平台在后台的层次角色也已经比较清晰。 在物理层面，根据不同的使用场景以及成本预算的考虑，会采用不同的硬件配置方案。对于自身容错备份机制较好的大存储系统，只需要使用SATA硬盘即可；若所承载的平台自身容灾机制较弱甚至是无，且数据比较重要，则可以使用RAID或SAS硬盘。对于大部分存储和计算平台来说，网络一般不是最大的瓶颈，所以使用千兆网卡和交换机即可；对于内部网络吞吐量非常大，内部网络IO已经成为瓶颈，并且时效性要求非常高的核心业务，可以使用万兆网卡和交换机提高性能。 在计算性能上，近年来逐步兴起与成熟的语音识别技术和深度学习技术，由于计算量异常巨大，需要高性能的计算平台来支持。 大数据后台层次角色及数据流向是一个非常重要的领域，对于海量用户产品来说是不可或缺的技术。