个人使用大数据开发-计算机专业简历.doc

### 个人使用大数据开发——计算机专业简历解析 #### 一、基本信息 - **姓名**：XXX - **性别**：男 - **学历**：本科 - **工作经验**：3年 - **求职意向**：大数据开发工程师 - **工作状态**：离职 - **期望工作地点**：北京 - **薪资要求**：面议 #### 二、专业技能 1. **Spark相关技术**： - **掌握情况**：熟练 - **具体内容**：熟练掌握Spark SQL、Spark Streaming与Spark Core等核心组件；理解Spark的工作机制及其任务执行流程。 - **应用场景**：适用于大规模数据处理，包括流式数据处理、实时分析等。 2. **Hadoop集群管理**： - **掌握情况**：熟练 - **具体内容**：具备Hadoop分布式集群的安装、部署、搭建和配置能力；能熟练运用Hadoop相关工具进行开发。 - **应用场景**：适用于构建大型数据处理平台，支持海量数据存储与计算。 3. **MapReduce与HDFS**： - **掌握情况**：熟悉 - **具体内容**：熟悉MapReduce的工作机制和运行原理；了解HDFS（Hadoop Distributed File System）的基本概念和操作。 - **应用场景**：适用于离线批处理任务，如数据清洗、转换等。 4. **Kafka与Zookeeper集成**： - **掌握情况**：熟练 - **具体内容**：熟练使用Kafka实现集群间的高吞吐量通信机制；能够通过Zookeeper管理Kafka集群中的生产者与消费者关系，实现负载均衡和消息持久化。 - **应用场景**：适用于构建高并发、低延迟的消息传递系统。 5. **Linux环境与Shell脚本**： - **掌握情况**：熟悉 - **具体内容**：熟悉Linux操作系统的基本操作和常用命令；能够编写简单的Shell脚本来自动化日常运维任务。 - **应用场景**：适用于服务器管理、自动化脚本编写等。 6. **HBase系统架构**： - **掌握情况**：熟悉 - **具体内容**：了解HBase的整体架构、RowKey的设计原则及其优化方法。 - **应用场景**：适用于构建高可扩展性的列族数据库，适合处理半结构化或非结构化的海量数据。 7. **Hive数据仓库**： - **掌握情况**：熟悉 - **具体内容**：熟悉Hive的工作原理、数据仓库的建立及Hive性能优化技巧。 - **应用场景**：适用于构建企业级数据仓库，进行数据整合、分析与挖掘。 8. **Flume日志收集**： - **掌握情况**：熟悉 - **具体内容**：熟悉Flume的日志收集机制，在多种场景下实现高效日志收集。 - **应用场景**：适用于日志收集系统，支持大量服务器日志的实时收集、聚合与转发。 9. **Sqoop数据迁移**： - **掌握情况**：熟悉 - **具体内容**：熟悉使用Sqoop在MySQL和Hive之间进行数据的导入与导出。 - **应用场景**：适用于不同数据源之间的数据迁移任务。 10. **Oozie/Azkaban任务调度**： - **掌握情况**：熟悉 - **具体内容**：熟悉使用Oozie和Azkaban实现作业调度，支持复杂的工作流管理。 - **应用场景**：适用于构建自动化的工作流，支持批量数据处理作业的定时调度。 11. **Java/Scala编程与SQL**： - **掌握情况**：熟练 - **具体内容**：精通Java和Scala编程语言，熟悉MySql数据库操作。 - **应用场景**：适用于软件开发、数据库操作等。 #### 三、项目经验 1. **项目一：礼物说数仓项目** - **架构**：Nginx + Tomcat + Hadoop + Flume + Zookeeper + Hive + MySQL + Spark + Sqoop + Azkaban - **开发环境**：Idea + Maven + Git - **项目描述**：通过对公司数据进行统一管理和加工，建立数据仓库，支持后续的数据分析与应用。 - **技术要点**： - 使用Flume收集Web节点日志，经过预处理后存储至Hive中。 - 设计了ODS、DWD、DWS和ADS四层数据仓库结构，确保数据的标准化与一致性。 - 在DWS层实现数据维度建模，形成宽表层以提高查询效率。 - 利用Azkaban实现定时任务调度，确保数据的及时更新。 2. **项目二：礼物说手机App日志采集系统** - **架构**：Nginx + Tomcat + Hadoop + Flume + Zookeeper + Kafka + Spark + HBase - **开发环境**：未详细说明 - **项目描述**：构建了一套用于收集和处理手机App日志的系统，支持实时数据分析与应用。 - **技术要点**： - 通过Flume收集日志数据，利用Kafka作为消息中间件进行数据传输。 - 利用Spark进行实时数据分析处理，HBase作为存储引擎存储大量日志数据。 通过以上解析可以看出，该应聘者具备较强的大数据开发能力，不仅掌握了多项关键技术和工具的应用，还在实际项目中积累了丰富的实践经验。这些技能和经验将有助于其在未来的大数据开发工作中发挥重要作用。