互联网数据仓库是指在互联网领域内,针对大数据环境设计和实施的一种数据存储和分析的架构。它是一个用来支持决策制定过程的、面向主题的、集成的、时变的、非易失性的数据集合。数据仓库技术从1980年代的OLTP(联机事务处理)和OLAP(联机分析处理)技术起步,逐步发展成为现代大数据环境下的重要基础架构。 在互联网环境下,数据仓库技术面临诸多挑战,如数据量庞大、数据类型多样、数据更新速度快速等。因此,互联网公司需要构建一个能够水平扩展、支持数据规范化、实现用户触达、保证数据可闭环、拥有数据精细化处理能力以及商务智能报告、分析和临时查询功能的数据仓库。 大众点评网作为案例,其数据平台的发展经历了从2012年的初步构建到后续几年的逐步成熟。在平台发展过程中,数据用户群体不断扩展,体系结构也由最初简单的报表生成发展到复杂的多维数据处理系统。大众点评网数据平台的特征包括在线服务高可用性(HA)、编程接口、开发平台和线上反馈应用等。 在建模过程中,大众点评网追求模型的平衡,兼顾数据模型的规范化与业务需求的复杂性。在数据仓库模型中,数据质量至关重要,性能和稳定性也是必须重点考虑的因素。此外,报告、OLAP类Adhoc工具、响应性能优化、指标监控体系以及Ad-hoc查询也是数据平台的重要组成部分。 数据产品化是将数据转化为产品,提供给用户使用的过程。在大众点评网中,数据产品化包括自助指标引擎、流式计算、Dashboard类体系架构等。其中,自助指标引擎允许用户根据自身需求快速定义和获取数据指标;流式计算则强调实时处理数据以支持动态数据的分析和展示;Dashboard类体系架构则通过仪表盘形式,直观地展示各类统计图表和数据分析结果。 未来,数据中心会向着更加自动化、智能化、规模化的方向发展。在这个过程中,数据仓库技术将继续扮演重要角色。随着技术的发展,数据仓库将支持更多的数据类型,提供更高效的计算能力,并在保证数据安全的前提下,为用户提供更多个性化服务。在技术层面,数据仓库将会融合云计算技术,通过自动化运维和无缝扩展实现资源的高效利用。 在数据仓库的实践中,数据管理行业老兵闫剑锋认为,标准化的数据仓库解决方案并不适用于所有情况,必须根据不同企业的特定需求进行定制化的设计和实施(One size does not fit all)。同时,他认为云技术并非单纯的自动化,而是对传统的数据中心技术的全面优化和革新(Cloud is just automation)。 互联网数据仓库之路是互联网企业对大数据处理能力的追求和实践。通过构建一个强大的数据仓库系统,企业可以更有效地管理和分析数据,从而为用户提供更加精准和个性化的服务,为企业的运营决策提供强有力的数据支撑。随着技术的不断进步,数据仓库技术在互联网行业的应用也将越来越广泛和深入。
剩余26页未读,继续阅读
- huyou80112015-09-23内容还行。
- 粉丝: 62
- 资源: 53
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助