初识⼤数据（五初识⼤数据（五.⼤数据平台基本架构）⼤数据平台基本架构）
⼤数据开发，并不仅仅只是⼀两个组件的简单堆砌，⽽是需要按照实际的数据量、数据种类以及实际业务的需要进⾏⼤量的调优和⼆次
开发，构成⼀个有机的整体，这样才能保证⼤数据平台的正常⾼效的运⾏。
⼀． 以下是⼀个⼤数据平台的基本组成图：
1． 硬件环境：
1） X86架构廉价服务器集群：hadoop技术栈是架构在这种服务器上的，所以价格低，横向可扩展性强。
2） GPU服务器集群：如果需要⽤到机器学习算法，可能使⽤GPU服务器集群。
2． ETL：对各种类型的数据采集与清洗，跟据不同的数据类型选择不同的组件或者数据采集⽅法，⽐如⽤Python编写采集或清洗数据。
3． 数据存储：将采集清洗或处理好的数据存储在⼤数据存储器中。
4． 数据计算：
1） 实时计算：对亿条流数据实时进⾏计算。⽐如志管理、消息队列等。
2） 离线计算：对海量数据进⾏计算，特点是：数据量巨⼤，维度多。
5． 数据分析：对处理好的数据进⾏交互式分析，主要是⽤SQL语⾔进⾏数据的分析。
6． 资源管理：对资源进⾏调度和管理，其中包括：内存、CPU、存储等资源。
7． 数据管理：对数据进⾏安全、质量、权限等的管理以及⼯作流的管理和元数据治理。
8． 运维监控：对hadoop集群、⽣态圈组件进⾏运维、管理和监控。
⼆．⼤数据开发应具备的基本技能：
1. 精通java、python、scala开发
2. 精通linux使⽤
3. 精通SQL开发
4. 具有开源代码的阅读能⼒
5. 熟悉各种组件的使⽤
资源评论
是空空呀
- 粉丝: 195
- 资源: 3万+
