#更多资源qq891377154
# Python3实战Spark大数据分析及调度
大家好，欢迎大家来到我在[慕课网](https://imooc.com)上的实战课程[《Python3实战Spark大数据分析及调度》](https://coding.imooc.com/class/chapter/249.html)的官方代码仓。在本仓库中将提供课程学习过程中的代码以及笔记，如有错误信息，也欢迎大家以pull request的方式更新上来。
***
## 代码说明
* code：该课程的所有代码
* note：该课程的所有笔记
* OOTB环境：请关注课程页面`下载`的`大型资料下载`
***
## 课程说明
本门课程将按照如下模块进行讲解
* 实战环境搭建
* Spark Core核心RDD：RDD是什么、RDD五大特性、RDD特性在源码中的体现、图解RDD、SparkContext&SparkConf详解、RDD的2种创建方式、使用IDE开发pyspark应用程序、提交pyspark作业到服务器上运行
* Spark Core RDD编程：map & filter & flatMap & groupByKey & reduceByKey & sortByKey & union & distinct & join & action算子详解、词频统计 & TopN & 平均数统计案例编程实现
* Spark运行模式：local、standalone、yarn模式详解
* Spark Core进阶：Spark中的核心术语、运行架构、并对比Spark和MapReduce的概念区分、存储策略及选择方式、宽窄依赖及Shuffle
* Spark Core调优：从Spark作业性能指标、序列化、内存管理、广播变量及数据本地化这几个方面来介绍Spark作业的调优
* Spark SQL：Spark SQL的架构、DataFrame&Dataset、以及如何使用Python API来对DataFrame进行编程
* Spark Streaming：Spark Streaming的核心概念、执行原理、以及如何Python API来对Spark Streaming进行编程
* Azkaban基础篇：Azkaban的特性、架构、运行模式、源码编译及部署、快速入门
* Azkaban实战篇：使用Azkaban来完成HDFS、MapReduce、Hive作业的调度、定时作业调度以及邮件告警
* Azkaban进阶篇：Azkaban在生产上的部署、权限管理、Ajax API、Plugin、以及短信和调度框架的二次开发
* 项目实战：构建大数据平台的技术选型、集群升级资源评估，并使用Spark对气象数据进行分析，讲分析结果写入ES，并通过Kibana进行统计结果的可视化展示
***
## 思考题
Q1: 假设一个日志文件如下所示，字段之间分隔符是`,`
```
1,zhangsan,30
2,lisi,32
3,wangwu,abc
```
第一列id(int)，第二列name(name)，第三列age(int)，但是第三行的第三列值为abc，这是一条不符合要求的数据。
请使用Spark解析日志，使用计数器完成该日志的总行数以及符合条件的记录数统计。
***
欢迎关注个人公众号，不定期会推送一些大数据相关的文章
<br>
NettySpringboot仿某信聊天全栈实战.zip
版权申诉
131 浏览量
2023-03-14
12:20:29
上传
评论
收藏 3.36MB ZIP 举报
NettySpringboot仿某信聊天全栈实战.zip （262个子文件） 
UserServiceImpl.class 10KB UserController.class 7KB DefaultWorkerIdStrategy.class 7KB ChatHandler.class 6KB DefaultRandomCodeStrategy.class 6KB HttpReq.class 5KB FileUtils.class 5KB Utils.class 5KB CustomHandler.class 5KB FileLock.class 4KB Serializes.class 4KB Props.class 3KB FastDFSClient.class 3KB QRCodeUtils.class 3KB ChatHandler.class 3KB IdWorker.class 3KB IMoocJSONResult.class 3KB JsonUtils.class 2KB UserChannelRel.class 2KB Sid.class 2KB Users.class 2KB SearchFriendsStatusEnum.class 2KB HeartBeatHandler.class 2KB ChatMsg.class 2KB GeneratorDisplay.class 2KB Ip.class 2KB OperatorFriendRequestTypeEnum.class 2KB WSServer.class 2KB WSServerInitialzer.class 2KB MsgActionEnum.class 2KB HelloServer.class 2KB WSServer.class 2KB DayPrefixRandomCodeStrategy.class 2KB IPv4Utils.class 2KB WSServerInitialzer.class 2KB SpringUtil.class 2KB UsersVO.class 1KB FriendsRequest.class 1KB MsgSignFlagEnum.class 1KB NettyBooter.class 1KB Code.class 1KB DayCode.class 1KB MD5Utils.class 1KB HelloServerInitializer.class 1KB MyFriendsVO.class 1KB UserService.class 1KB ChatMsg.class 1KB FriendRequestVO.class 1KB DataContent.class 1KB MyFriends.class 1KB Props$Silent.class 1KB Id.class 1KB Application.class 1KB UsersBO.class 926B DefaultWorkerIdStrategy$1.class 843B DefaultRandomCodeStrategy$1.class 752B DefaultWorkerIdStrategy$2.class 729B FastdfsImporter.class 664B UsersMapperCustom.class 619B Sid$1.class 596B WSServer$SingletionWSServer.class 532B Test.class 455B InvalidSystemClock.class 387B MyMapper.class 340B MyMapper.class 340B FriendsRequestMapper.class 270B MyFriendsMapper.class 255B ChatMsgMapper.class 249B UsersMapper.class 243B RandomCodeStrategy.class 211B WorkerIdStrategy.class 209B .classpath 2KB .classpath 1KB .classpath 1KB .confirmed_dependencies 729B mui.css 95KB util.css 85KB mui.min.css 74KB main.css 8KB demo.css 6KB cropper.css 5KB cropper.css 5KB iconfont.css 4KB main.css 3KB main.css 3KB chat.css 3KB mui.indexedlist.css 2KB header.css 143B .dependencies 4B iconfont.eot 4KB .factorypath 11KB
index.html 29KB imooc-chatlist.html 16KB chatting.html 8KB imooc-contact.html 7KB uploader.html 5KB demo_symbol.html 5KB demo_unicode.html 5KB imooc-me.html 5KB login.html 4KB共 262 条
- 1
- 2
- 3
资源评论
