大数据架构师该做到的.pdf

大数据架构师是负责构建和维护大数据系统的技术领导者，需要具备深厚的行业知识、技术选型能力、资源调度理解、数据处理经验以及安全治理意识。以下是根据给定文件内容整理出的关于大数据架构师应具备的知识点： 1. 云平台和大数据技术栈 大数据架构师需要熟悉主流云服务平台，如谷歌云、亚马逊云（AWS）、阿里云、腾讯云、网易易云、华为云、国双青云、思海致等，以及它们提供的大数据解决方案，如阿里云的MaxCompute、华为的BigDataAnalytics等。 2. 技术选型与成本 选择合适的技术是大数据架构师的重要职责，需要在考虑技术先进性的同时，还要评估维护成本和实际业务需求。技术选型应遵循“走马观花”的原则，即对市场上流行的技术进行了解，再结合企业实际做出选择。 3. 资源调度与任务管理 YARN作为基础资源调度框架，支持长应用程序和短应用程序的运行，是大数据架构师需要掌握的关键技术。Hadoop生态系统中的HDFS、MapReduce等组件都是构建大数据平台的基础。 4. 大数据平台核心组件 Hadoop作为基础存储计算平台，其核心组件Hadoop核心（HDPCore）和Hadoop分布式文件系统（HDFS）是进行大数据分析不可或缺的。同时，对于任务调度和工作流管理，Oozie和Tez等工具也扮演着重要角色。 5. 数据仓库与ETL 数据仓库在大数据架构中占据核心地位。Hive和Pig等工具用于处理ETL操作和基础数据仓库建设。Hive提供的数据仓库解决方案使得能够交互式聚合和快速探究大数据集，而Apache Kylin则提供OLAP的数据存储解决方案。 6. 实时数据处理 对于实时数据分析，架构师需要熟悉Storm和Kafka等实时数据处理和消息队列技术，以及Spark Streaming和NiFi等流式数据处理工具，这些技术提供了实时数据计算和ETL流程的构建能力。 7. 数据科学与分析平台 Spark和其生态系统提供内存通用并行计算能力，支持实时数据计算、数据指标监控报警等。另外，使用Zeppelin和Superset等工具可以进行数据分析、挖掘和可视化的交互式工作。 8. 数据存储与查询优化 在数据存储方面，架构师要熟悉HBase、Phoenix等NoSQL数据库，这些系统为处理大规模分布式KV存储提供了支持。同时，Hue和NiFi等平台为数据查询操作和ETL操作提供了可视化界面。 9. 权限管理与元数据治理 对于大数据平台的权限管理，Knox和Ranger提供了安全的鉴权通道。而Atlas工具则用于数据元数据的溯源与治理，帮助记录操作日志、数据流转流程的图像化展现和元数据操作记录。 10. 平台架构与安全治理 大数据架构师需要理解并应用平台建设的安全治理原则，以及对平台架构有深入的理解。Ambari、Zookeeper等工具用于管理大数据平台组件、监控数据、维护版本信息和保证分布式系统的一致性。 11. 数据操作与监控 NiFi及其注册中心NiFi Registry为大数据的ETL操作和数据流处理提供了版本管理和定义功能。同时，数据操作平台需要集成Hue、Superset等工具以提供丰富的数据处理和查询能力。 12. 分布式计算与存储 Apache Spark作为内存通用并行计算平台，用于实时数据计算，提供SparkSQL进行结构化数据处理，以及Spark Streaming用于流式数据处理。分布式存储则涉及HDFS等技术，支撑了大数据的存储和计算需求。 以上知识点是大数据架构师需要掌握的技能，涉及了大数据生态系统中的多个方面，从技术选择、资源调度、数据存储、实时处理到安全治理等。一个优秀的架构师能够将这些技术合理地应用于大数据项目的建设中，以满足不断发展的业务需求。