基于MVP模式开发的带缓存网络爬虫,采用最流行框架搭建,干货多多.zip

## 项目以多年未维护 使用技术解决方案也均已落后 ## 若您对技术有着狂热的追求,我期待您能加入我的团队 ## 无论你是高手还是菜鸟,只要你想在技术深耕我都欢迎您 ## 坐标:上海 宝山区 ## 以下是岗位需求,若您感兴趣欢迎投递简历到邮箱:shengqq@eagersoft.cn (记得备注来源是 github开源项目 ) > Android岗位 1、熟练掌握Java开发技术，具备扎实的编程基础； 2、熟练掌握Android各类UI组件、图像动画、网络、文件系统等模块的使用和开发； 3、熟练掌握Android的API，理解Android的体系结构； 4、熟练运用市面上主流的开源库，如Glide、RxJava等； 5、熟悉Android中界面绘制、后台运行、数据存储等的原理； 6、了解Jectpack相关组件； 7、了解Android内存管理机制，并能进行优化； 8、拥有一定的Android自绘技能； 9、拥有良好的代码规范，文档能力，Git使用经验； > IOS岗位 1、有扎实的Swift基础，了解应用基本算法/数据结构,了解基础设计模式; 2、熟悉iOS SDK开发环境及相关开发工具; 3、熟悉RxSwift、Sqlite； 4、熟练掌握Autolayout、xib、storyboard； 5、具有良好编码风格,有较强的独立工作能力和团队合作精神; > 前端-小程序方向 1、掌握HTML5、CSS3、ES6，JS基础扎实； 2、掌握微信小程序开发原理、开发流程、接口组件、验证授权等，能独立开发微信小程序； 3、熟练使用canvas； 4、有完整的微信小程序项目经验； 5、有字节跳动/百度/支付宝/快应用等小程序开发经验者优先。 > 前端-web方向 1、熟练Ajax、Node.js、NPM常用的开发体系原理，完成数据绑定、业务交互等； 2、熟练VUE、Bootstrap、jQuery等框架，懂得灵活运用； 3、对JS模块化和通用化有一定设计经验的； 4、有良好的团队合作精神；沟通能力强、有责任心、做事细致； ## FreeBook v2.0 去除网络爬虫 使用api请求数据 ### 引言 >基于MVP模式开发的免费下载小说app,采用最流行框架搭建,干货多多 >集中最近流行的框架和思维以一种简单易理解的方式实现,方便大家学习 >至于需求什么的我就不说了,对于准备毕业项目的同学学会这个你会觉得毕业项目非常easy >[api帮助文档](http://mylance.top/index.html) >[APK下载 免费下载小说 学习的同时 还能拿到不少的干货](http://fir.im/FreeBook) >由于使用的美国服务器 国内访问会比较慢 所有api仅使用于学习 当然也欢迎大家赞助 换个国内好点的服务器啦 ## 这里有那么一群志同道合的人在等你加入 QQ群:[173999252](https://jq.qq.com/?_wv=1027&k=41Zve9A)  ###首先让大家看看效果 No picture you say a jb? gif录制效果不好 将就点看      ###还有就是项目的结构 看看我是怎么玩转MVP的  ###用到的主流框架 - RxJava+Retrofit2+Okhttp+RxCache 实现API数据请求以及缓存(缓存不区分GET&POST 缓存策略可根据自己要求修改) - RxJava+jsoup+RxCache 实现HTMl页面爬虫数据的请求以及缓存 缓存实现与API一致 不需要另写逻辑 - glide加载图片 - LCRapidDevelop 下拉刷新 状态页 RecyclerView适配器 RecyclerView加载动画 等等感兴趣的自行了解 [传送门](https://github.com/80945540/LCRapidDevelop) - bga-banner 首页的Banner实现无限循环 还不错 集成简单 ###功能点 - 首页banner 以及推荐数据 根据后台接口更新(总要有点自己可控的元素嘛 比如加个广告什么的 哈哈 比如说) - 书库类别 以及类别的HTML地址等数据 通过后台接口控制 (如果哪天我觉得这个网站的资源不是很丰富 我可以很任性的直接在后台换一个) - 数据缓存 请求HTML网页再从网页上抓取想要的数据其实相对API来说耗时会比较大 缓存就显得非常重要了 - 文件下载统一管理 并且调用系统支持的程序打开文件 ###首先详细讲解一下RxJava+Retrofit2+Okhttp+RxCache的使用 五部曲 第一步:导包 ``` compile 'io.reactivex:rxjava:1.1.8' compile 'io.reactivex:rxandroid:1.2.1' compile 'com.squareup.retrofit2:retrofit:2.0.0-beta4' compile 'com.squareup.retrofit2:converter-gson:2.0.0-beta4' compile 'com.squareup.retrofit2:adapter-rxjava:2.0.0-beta4' compile 'com.github.VictorAlbertos.RxCache:core:1.4.6' ``` 第二步:新建API接口 ``` /** * API接口 * 因为使用RxCache作为缓存策略 所以这里不需要写缓存信息 */ public interface MovieService { //获取书库分类信息 @GET("freebook/typeconfigs.json") Observable<List<BookTypeDto>> getBookTypes(); //获得首页banner以及书籍数据 @GET("freebook/home.json") Observable<HomeDto> getHomeInfo(); //获得搜索标签 @GET("freebook/search_lable.json") Observable<List<String>> getSearchLable(); } ``` 第三步:新建缓存接口(Html爬虫共用) ``` /** * 缓存API接口 * @LifeCache设置缓存过期时间. 如果没有设置@LifeCache , 数据将被永久缓存理除非你使用了 EvictProvider, EvictDynamicKey or EvictDynamicKeyGroup . * EvictProvider可以明确地清理清理所有缓存数据. * EvictDynamicKey可以明确地清理指定的数据 DynamicKey. * EvictDynamicKeyGroup 允许明确地清理一组特定的数据. DynamicKeyGroup. * DynamicKey驱逐与一个特定的键使用EvictDynamicKey相关的数据。比如分页，排序或筛选要求 * DynamicKeyGroup。驱逐一组与key关联的数据，使用EvictDynamicKeyGroup。比如分页，排序或筛选要求 */ public interface CacheProviders { //获取书库对应类别列表 缓存时间 1天 @LifeCache(duration = 7, timeUnit = TimeUnit.DAYS) Observable<Reply<List<BookInfoListDto>>> getStackTypeList(Observable<List<BookInfoListDto>> oRepos, DynamicKey userName, EvictDynamicKey evictDynamicKey); //获取书库分类信息缓存数据 缓存时间 永久 Observable<Reply<List<BookTypeDto>>> getBookTypes(Observable<List<BookTypeDto>> oRepos, DynamicKey userName, EvictDynamicKey evictDynamicKey); //获取首页配置数据 banner 最热 最新 缓存时间7天 @LifeCache(duration = 7, timeUnit = TimeUnit.DAYS) Observable<Reply<HomeDto>> getHomeInfo(Observable<HomeDto> oRepos, DynamicKey userName, EvictDynamicKey evictDynamicKey); //获取搜索标签 缓存时间7天 @LifeCache(duration = 7, timeUnit = TimeUnit.DAYS) Observable<Reply<List<String>>> getSearchLable(Observable<List<String>> oRepos, DynamicKey userName, EvictDynamicKey evictDynamicKey); //获取书籍详情 缓存时间7天 @LifeCache(duration = 7, timeUnit = TimeUnit.DAYS) Observable<Reply<BookInfoDto>> getBookInfo(Observable<BookInfoDto> oRepos, DynamicKey userName, EvictDynamicKey evictDynamicKey); } ``` 第四步:新建retrofit抽象类 ``` /** *封装一个retrofit集成0kHttp3的抽象基类 */ public abstract class RetrofitUtils { private static Retrofit mRetrofit; private static OkHttpClient mOkHttpClient; /** * 获取Retrofit对象 * * @return */ protected static Retrofit getRetrofit() { if (null == mRetrofit) { if (null == mOkHttpClient) { mOkHttpClient = new OkHttpClient.Builder().build(); } //Retrofit2后使用build设计模式 mRetrofit = new Retrofit.Builder()