论文研究-基于微信和网络爬虫的教务信息查询系统设计与实现 .pdf

所需积分/C币:11 2019-08-17 962KB .PDF
评分

基于微信和网络爬虫的教务信息查询系统设计与实现,李俊君,傅佳杰,随着移动互联网时代的到来,微信渐渐地成为了人们生活中的一部分。然而在部分高校教务信息查询领域还是停留在PC机阶段,另外教务�
山国武论文在线 过程中,不断从当前页面上抽取新的放入队列直到满足系统的·定停止条件 网络爬虫系统的功能是下载网页数据,为搜索引擎系统提供数据来源。网页中除 了包含供用户阅读的文字信息外,还包含一些超链接信息。网络爬虫系统正是通过网 页中的超连接信息不断获得网络上的其它网页。正是因为这种采集过程像一个爬虫或者蜘蛛 在网络上漫游,所以它才被称为网络爬虫系统或者网络蜘蛛系统,在英文中称为 或 者 函数 中,我们可以通过 表单设置 的 和提交,但假如我们 获取的数据不是从 中米的,而是脚本主动向其他服务器提交呢?这个时候就可 以使用的 函数。 是一个利用语法规定来传输文件和数据的工具,支 持很多协议,如 等 也支持 库 的函数实现 提交,关键就在四个函数 的初始化函数 的执行函数设置提交参数。有一长串参数可供设置, 它们能指定请求的各个细节 的执行函数,执行并获取结果。 的执行关闭函数。 技术 是日前很普遍的一门技术,也是很佰得探讨和研究的一门技术仝称为 即“异步 和”的意思。通过 我们可以向服务器发送请求和解析服务器响应,在不阻塞面的情况下进行数据交互,也可 以理解为异步数据传输。在的帮助下我们的网贞只需局部刷新即可更新数据,然后通 过将数据插入到页面中,减少了不必要的数据量,大大提高了用户体验,缩短了用户 等待的时间,使得应用程序更小、更快,更友好。 教务信息查询系统的设计 系统设计背景 本教务信息查询系统设计之初恰逢本校的教务系统升级,学生用户要想查到自己的考试 成绩、课表安排等教务信息必须去端登录教务网,而不能基于移动端查询。在这个移 动互联网时代,仅迸过端查询非常得不方便。于是本人考虑利用网终爬虫技术模拟用户 登录、査询,最后将获取到的数据加工处理返回微信公众平台。 系统拓扑 用户在移动端发送査询指令到微信公众平台,微信公众平台在收到指令后,会将其指令 通过方式转发至部署在服务器的应用服务程序。 服务器在收到指令后,会调用相应的服务程序。服务程序再运行的过程中会调用 部署在阿里云服务器的查询接口。查询接口部署在阿里云服务器而未直接部署在 虚拟主机,这是因为新浪云虚拟主机不支持本地文件的写操作,而阿里云服 务器支持。系统在用户査询的过稈中需要验讦用户是否登录,也就是验证是否能找到用户登 山国武论文在线 录后获取的 。该系统模拟用户登录,获取到的 通过文件的写操作保存在文 件中,以供后续査询操作使用。 真正的爬虫接口程序部署在阿里云服务器中。当每次査询的时候,接口程序抓取 教务网用户信息的网页。通过正则表达式来分析获取我们抓取到的内容,再通过的方 式返回给调用程序。总体看来整个教务信息查询系统拓扑图如图所示。 用户 手机 微信 平 众台 用户 手机 用户 于机 新浪八SAE 服务器 浙浪云SAE 数据库 学校教务网 数据阵 阿里云ECS服务器 学校教务网 服务器 图教务信息查询系统拓扑图 系统框架 教务信息查询系统 查询成绩 查询课表 考试安排 教师电话 教务信息 个人信息 绑 定 微信推送 图教务信息查询系统功能框架图 山国武论文在线 本教筹信息査询系统框架主要由信息绑定模块和査询模块组成。信息绑定模块需要绑定 用户个人信息。而信息査询模块包括考试成绩、考试安排、学生误表、教师电话、教务 新闻几个查询功能。基本系统框架图如图所示 基本流程 正如图系统拓扑图所述,用户通过发送不同的指令来查询不同的信息。用户首次关注 公众平台,公众平台会推送欢迎图文消息并提示用户绑定。用户成功绑定了个人信息之后 页面会跳转到我们准备好了的教务信息査询系统使用说明图文消息。随后用户可以发送不同 指令查询对应的消息。如:用户发送“”指令可查询当前学期的考试成绩;用户发送“” 指令可查询当前学期的考试安排;用户发送“”查询当前学期的课表信息;发送“ 姓名”可查询对应教师的电话。本系统使用流程图如图所示 开始 发送指令 否 用户是否纬定 提醉鎯定 榨入指令是 台 百合法 是 根据不同的指令 进人不同的模 CEse: kD 音询 考试 查询 教务 教师 成绩 安挂 课表 信息 电话 起示 信息 结束 图教务信息査询系经使用流程图 山国武论文在线 教务信息查询系统的实现 信息绑定和个人信息获取 当用户第次发送指令或系统检测到用户没有注册吋,会提示用户注册。微信公众平台 会将一个带有用户关注公众号所产生的 的链接图文消息推送给用户(如图 左所示)。用户点击访问。后台程序通过 判断用户是否注册,若注册给出提示 信息,若未注册则进入注册页面。由于 是整个系统中用户唯一的身份标识符,因此 将 以保存在 数组中,以备后续使用。 上139_95.4.153/edx <,c01301954153/ccuapiindcx,php/Homc/Educpi/gctUscrinfo/numbcr/1411050108/password/123456qwcrty R d Elemerts Console Sources Netwcrk Time ine Profiles Application Security Audits nel if.6 m 7 VieN: :=4 2 Preserve log 0 Disable cache I D offine No throtting 1001y 0O Ims 4301ts Path L2345bcMerty W{5:1,Fe!nma!“李俊君"cla:“网1491”,2。-1每ge!“信息与地子工程子院“} eduapi/index-php/. code: 1 rres:ane;“像君",c1as5:网络1401",c01lege;“信農与申子T学院” 1asE:"网络141 load- menu- otn.t nane:“李俊彐 图成功获取到用户基本信息 移动画 im13:50 佘m135 ←小概助手遠 信息绑定 :×游转提示 浙江工商大学教务处 请你发送bd进行注册绑定 信息定 公 发送hd.数务网信息绑定 操作失败 门输入的账号密码不匹配 页面自动跳转等待时间:2 按网码 确定 查看全文 查看详情 图绑定信息相关图 在用户信息绑定页面中,系统要求用户输入学号、教务网窣码信息(如图中所示)。 当服务器后台程序收到 表单 提交数据后,带着提交的两个数据调用阿里 云服务器的验证接口。阿里云接口程序则使用学号、教务网密码模拟登陆教务网 如果模拟登陆成功则表明用户输入的账号、密码正确,否则提示用户账号密码不匹配(如图 右所示) 当用户通过账号密码之后,阿里云接∏程序继续爬虫获取用户的基本信息,例如学号 姓名,班级,学院等信息、(如图模拟用户登陆)并保存至数据库。 山国武论文在线 查询成绩和考试安排 当成功用户绑定了之后,发送“”指令至微信公众平台,微信则访问服务程序, 服务程序调用阿隼云服务器接口。调用接口为 带着学号密码两个参数调用程序查询接口,即可获取到学生用户当前学期 的期末考试成绩(如图所示)。 5139.1054.153/dyW ÷c|@139194153kaimexuHe/duwvwemume14101cbW/12343w Hi:140T”b”:" Aur fs\edet 4 G o smets Console Source: Network Timeline profile: Application Security Aucits o 5 m 7 View a %s t Preserve log disable cache 0 ofline No throttling 555\u5b501u5de5uTa0b\u5b 83下3[05318MB0A1 200 mi 307 500m 90m5 K Heade: Awe isw Responce Cookies Timing 123456 taOdu: 1-h FedJaFaAndm phpv 80: s7 c/ saal res re:{hhl:"114”,bj:“14岛”。」 ,i:"",} :叫qL2,zd:l4l,:7 ibe'aahapoonp r:[h.5d:“11146合7“,b 1;{bna;“1147°:b:“网姑14份 aad. rtatuebrtn吃 1!信息与思于工程芋 4:[b3e:“114007°,b:“角41°,t:"81°,1 lE=:"倌息与电子工疯”,:"1"-) Ranier tpk htrel e:tbh3:“114007",b:“网绍401 ,:“想与 :bh_:"1400°,b:"箱401,:"1",:"1°,:“信恩与电子工学院",i×d:"1° requests 1 &2kE denser :h_3:“114007°,:“网11”,:"”,j:"5°,迅:”“恩与电了工理学病”,i89×:d:"1 出mw6iB3留,kar:” 图成功爬取到用户成绩信息 调用接口获取到的成绩信息是 编码格式,服务程序在获取到阿里云 服务器接口返回的数据包后,除了进行用 函数转码之外,还需要对这些 数据进行分析,剔除掉一些用户并不需要的信息,将用户感兴趣的内容推送给用户(如图 左所示) 期末考试安排信息查询同考试成绩査询的实现方式类似,在此不多赘述。 中国移动 令■1352中国移动四 l■1352中国移动色 令州画1353 e小概助手 小助手M 身∈小概助手 孛促君的成绩 李俊君的本学铜考试安排 李俊君的课表 学科:消费者行为学 号试名称;考研英语 星期一 学分:20 考试射间:20160909 课程:组网工程 戌绩:80 18.D02C0 的间:35节(16周) 绩点:3 考试地点:315 地点:信电楼模电222 教师:时蒋款 学科,综合效竽江工科考研) 考试名称:钦技支术基础 学分:20 考试时间:20160910 课程:微机原理与接口技术 成绩:70 时间:68节(113周团) 绩点:2 考试地点;320 地点:c227 教师:吴涤 学科:考研英语 老试名称:计算机组成与系统结构 分:2.0 考试时间:201609-10 星期-] 成绩:67 12:00-:4C0 课程:英语写作 绩点:17 老试地点:D220 时间:1-2节(1-15周) 地点:D320 考试名称:微机原理与接口技术 教师: Priscilla 学分:2.0 成绩 18:3020:0 课程:软件工程概论 请肿点:c31 时间:35节(112周14-16周) 图获取用户成绩(左)、考试安排(中)、查询用户课表(右) 查询课表 查询课表的基本方法与查询成绩类似。当用户发送“”指令给微信后台,微信调用新 浪云服务程序。服务程序再去调用阿里云应用接口获取用户课表信息、。 阿里云接口地址为: 山国武论文在线 39.L964153/du2 f-do1g 1964153/edusplndex. 1p Home/Eduap/getschedule /number/1411050108/password/123M456gwerty rr;,wr:【aa2s了 G d Cements console Sources Netmork timeline Profiles Application Security Audits 5211u532"ic:3u38,"a": ●6·冒Ye: A e Preter lag y Disable cache 0 off ine No throttling 5,s:" 5200000 ms me,"ha观":0t:1P:D,”世 x Headers Preven Response Cookie Timming mat;国:“rae;trun"tds;0eh taeu";了,"":"机 iten-adit-whtepngfcode:a;res;星一:-1,里期二;[-1,里三:,-1,星期图:(,-,五:[,-1 abetacchagcpooop 甲“e;(星一:【,-1,星期二:[-],里三:[,-],星期四:[1,星期五:-1 a::ueb=03, E fae ess r过: 1:c:·n86x,cdmc:"22“.1c:“·第,or:“,,:“,1g1d:10700,1gpxd:"1”,- c":"6 ,sdns;"7“,s;"2s节,jsr;"2-,“2-5“,j;“1n°,i8ns;"1,= :",i:5 neru-tin.L p1:【dd cdmg:·信电硫程序428 cdac: 4284, 3c: 10-12T", dcor 34555 nett et-tpishmi 期五:I 01,:"1112,"ta:"如 eaeehagcnooop. m高;?,1 lococo fa“g,cm:<n”,:“:节”,ar:“g,J;r,1:15,d:"- 是sp:1.·驶民0“: Afine, shm: 0, toralPace :b,total 1A reguests I 394KB transt 图成功抓取到用户课表信息 部署在阿甲云服务器上的获取用户课表信息接口程序在获取到了用户课表信息后 进行了相关处理(如图所示),剔除了不必要的信息、,并对课程信息进行按照时间顺序进 行排序,按照不同的星期进行分组。并将最终信息信息返回给微信公众程序。最终实现的功 能如图、图右所示。 查询教务网新闻及教师电话 对于经常关注网站新闻的师生来说,如果能在移动端査看教务网新闻,这能带来很大的 便利。在微信公众平台发送“”、“”可分别查看教务网、信电网的最新消息 微信公众平台向新浪服务程序发送请求,后台服务程序调用的 函数爬取教 务网新闻页面 川m1436中国移动的醒 零州翻1355 小助手副 小概助手為 卜概助手為 xoxo ldh蒋献 姓名:蒋献 学院:信电学阬 吉:65550 dh余长宏 选拔学生2017午密期赴美国成斯 第19期“互联学术沙龙一软件定义网 与大数据利举行图 = 名:余长右 学院:信电学院 关于近拔学生2017年秋季赴美国 电话:633500 或斯康星大学麦迪逊分校参加访 关于申请创新实践学分的通知 小 关于选拔学生2017年暑期赴美国 学院举行党的十八届六中全会精 加州大学圣地亚哥分校参加海外 神专题学习图 你输入的信息不存在 湨鏜的知 图安之学学的用恩0 sdh王华 关于近拔学生赴美国加州大 圯亚哥分校参加访学项目的 未来利举行图 姓名:王华 感些翎喧旦"应 图教务网信息查询(左)、信电官网信息查询(中)和教师电话查询(右) 获取新闻网页后,对该网页的内容进行分析。分析找出用户感兴趣的最新的新闻标题及 。例如本系统中对教务网的分析通过正则表达式 来识别的。通过匹 山国武论文在线 配每个新闻文章中的 的值来判断是否为用户所需要新闻内容,并对新闻内容 按照时间顺序进行排序。 获取到新闻标题和访问后,新浪服务程序添加新闻照片和说明通过微 信接口程序返回给微信公众平台(如图所示)。信电网的新闻获取方法也是如此,在此 不多赘述。 对于教师电话功能的实现,我们将一张包含了教师电话信息的表格将其导入数据 库,然后通过 的语句查询,返回给用户。 系统运营分析 基于微信和网终爬虫的教务信息査询系统以微信公众号“小概助手”为入口。用户若想 使用这个系统则需要先关注“小概助于”公众号。公众号自上线推广以来,短短半个月的时 间,用户关注人数大幅度上涨。截止年月日,公众号关注人数人 低认 小就助手逗出 4 72 1015 新消息 新增人数 总用户数 图 小概助手”用户关注人数 此时正值期末学生们期末考完试之际,期末考试成绩止逐渐地公布。由图分析可以 发现公众号关注人数在大幅增长。 最近7天W2017-01-c4至2017-01-10V全部来源 按时问对匕 超势图 217-01-74 017-1n5 2017-11-06 117-01-0 201718 017--9 2-7-1-1 新关注人数全部 图小概助手公众号关注人数趋势图 用户在关注了“小概助手”公众平台后,需要通过发送指令来查询相关消息。通过微信 后台统计数据发现,近一周时间不仅仅用户关注人数在上升,且发送的关键字也主要集中在 查询指令上,如下图、图所示。 山国武论文在线 关键指松详解消启发送人数 自发送数 人发送次数 7日 14日 日 20170--04至2017-01-10 按时对比 遍图 300 mn17-11-04 n17-0-5 201741-05 pn17-m1-7 n17-1 n17-01-n9 7n7-01-10 消启发送次数 图发送查洵指令次数趋势图 由下图分析可见,用户发送查询期末考试成绩的次数较多。 消泉关键TOP0全部月定Y关司主定义关键司 时间7314日012061212201710 输入关键词音询排行 导出Exce 排行消启大键司 出现次占比 975 14 76 4 图用户发送查询指令分布图 结论 本文从实际问趣出发,在论文的引言部分就提出了一个生活中的实际问题,开发一个基 于移动端的教务信息查询系统以使快捷查询教务信息。在第部分论文叙述了廾发该系统的 相关技术。之后给出了该系统设计的拓扑图、框架图和流程图,并做岀了详尽的阐述。然后, 给出了教务信息査询系统的实现分析图,功能实现效果图,而且详细介绍了每一个功能模块 的具体实施。在接下米的一节中,论文分析了系统运营的部分数据。通过对这些数据研究发 现:基于微信和网络爬虫的教务信息查询系统的开发实现给用户带来了很大的便利。 致谢 基于微信的教务信息查询系统的丌发上线和此次小论文的完成,让我收获颇多。首先要 感谢项目指导老师诸葛斌教授的指导,诸葛老师给我们指明了研究方向并且自始至终地关心 着我的项目,给我们提供实验场地、器材和经费;然后,是傅晗文、朱英杰学长,在项目初 期指导我编程,让我对编程技术产生了很大的兴趣;最后感谢在项目开发、运营和摊 广过程中提供的帮助和参考论文文献作者的无私奉献。 参考文献

...展开详情
立即下载 最低0.43元/次 身份认证VIP会员低至7折
举报 举报 收藏 收藏
分享
208KB
论文研究-基于中国移动TD-SCDMA网络的位置区划分原则及方法 .pdf

基于中国移动TD-SCDMA网络的位置区划分原则及方法,豆天宝,李杰,随着第三代移动通信运营牌照的颁发和中国移动通信公司大规模建设TD-SCDMA网络的开始,TD-SCDMA网络建设初期的网络优化显得格外重要,��

2019-08-14 立即下载
279KB
论文研究-基于k-means聚类算法的研究 .pdf

基于k-means聚类算法的研究,黄韬,刘胜辉,本文首先分析研究聚类分析方法,对多种聚类分析算法进行分析比较,讨论各自的优点和不足,同时针对原k-means算法的聚类结果受随机��

2019-08-15 立即下载
428KB
论文研究-基于虚拟化及重定向技术的Android沙箱设计与实现 .pdf

基于虚拟化及重定向技术的Android沙箱设计与实现,崔海娜,张天乐,随着移动设备的普及,移动企业管理(EMM)作为解决企业移动化安全和管理问题的产品应运而生。EMM的移动性管理元素之一--移动内容管�

2019-08-22 立即下载
240KB
论文研究-基于情感信息收集-抽取架构的文本情感分析网络 .pdf

基于情感信息收集-抽取架构的文本情感分析网络,郭豪,双锴,近些年来,文本的情感分类作为自然语言处理领域的关键任务得到了越来越多的关注,基于深度学习的网络模型在该任务中取得了很大的成�

2019-08-18 立即下载
269KB
论文研究-基于FPGA的多功能扫频信号源的设计 .pdf

基于FPGA的多功能扫频信号源的设计,刘颢阳,李绍胜,扫频信号源是扫频仪主要功能部件,对其实现方法进行研究有重要意义。本文给出了一种由FPGA与DAC组合的扫频信号源设计方案。信号源��

2019-08-15 立即下载
942KB
论文研究-基于微信公共平台的小型图书馆管理系统的设计与实现 .pdf

基于微信公共平台的小型图书馆管理系统的设计与实现,许鹏,范春晓,从互联网的思维方式上考虑,结合微信公共号对外提供的接口和服务,综合利用开源的开发框架和新兴的WEB服务技术,设计并实现了基于��

2019-08-17 立即下载
424KB
论文研究-基于JsSIP实现SIP网页客户端 .pdf

基于JsSIP实现SIP网页客户端,高嵬,孙其博,JsSIP是使用Javascript脚本语言实现的开源SIP协议栈,是目前广泛应用的各种基于SIP协议的Web音视频通信终端的基础库�

2019-08-22 立即下载
194KB
论文研究-基于WinCE的智能车载仪表的设计 .pdf

基于WinCE的智能车载仪表的设计,韩琨,郝继飞,针对当前汽车仪表的发展趋势,设计了一款基于WinCE操作系统的智能车载仪表。智能车载仪表可以通过CAN总线接受汽车各个部件的ECU的信�

2019-08-20 立即下载
1.56MB
论文研究-基于深度学习的人脸识别算法研究 .pdf

基于深度学习的人脸识别算法研究,赵学斌,张雷,传统的人脸识别算法主要是基于图像的浅层特征提取,比如LBP、SIFT、HOG等图像特征描述算子,然后进行多种浅层特征融合,PCA降维之后��

2019-08-16 立即下载
426KB
论文研究-基于Android平台的电子书阅读器的设计与实现 .pdf

基于Android平台的电子书阅读器的设计与实现,赖穆彬,邹仕洪,本文主要阐述了在android平台上十分流行的电子书阅读器的设计与实现,具有智能断章,翻页特效,场景模式切换,阅读字体调节,用户��

2019-08-16 立即下载
255KB
论文研究-基于CUDA技术的运动估计算法加速 .pdf

基于CUDA技术的运动估计算法加速,刘婷,程荣辉,运动估计模块是数字图像/视频处理中最重要的模块之一,它的处理技术直接决定了图像/视频处理的效果,快速有效的运动估计算法是现�

2019-08-18 立即下载
305KB
论文研究-基于加权跳数的DV-HOP定位算法 .pdf

基于加权跳数的DV-HOP定位算法,白进京,周先菊,节点定位技术在无线传感器网络中占据至关重要的地位,如何提高定位精度是本文的研究的目的。本文深入分析了DV-Hop(Distance Vector-Hop��

2019-08-21 立即下载
290KB
论文研究-基于LSTM神经网络的股价短期预测模型 .pdf

基于LSTM神经网络的股价短期预测模型,成烯,钟波,股价预测是时间序列预测领域最具有挑战性的问题,准确预测股价能够帮助投资者降低风险,提高收益。本文应用LSTM神经网络对股价指��

2019-08-14 立即下载
533KB
论文研究-基于WiFi的环境监测系统设计 .pdf

基于WiFi的环境监测系统设计,李山,,WiFi(Wireless Fidelity)技术具备传输速率高、传播距离远、覆盖范围广等特点,在无线局域网应用中得到了迅猛的发展。本文设计并实现了一�

2019-08-16 立即下载
473KB
论文研究-基于I-7188的EIB网关的设计与实现 .pdf

基于I-7188的EIB网关的设计与实现,何欣,黄涛,EIB网关对智能家居的集成应用推广具有极其重要的意义。本文通过研究EIB(European Installation Bus)协议及其外部通信机制,提出基于I-7188��

2019-08-16 立即下载
613KB
论文研究-基于React的前端组件化研究与设计 .pdf

基于React的前端组件化研究与设计,周兴宇,卞佳丽,随着互联网行业的快速发展,Web应用更加庞大和复杂,对用户体验和交互有着越来越高的需求,对前端技术不断提出新的要求。React是一�

2019-08-20 立即下载
1.67MB
论文研究-基于深度学习的不可见图像隐写术 .pdf

基于深度学习的不可见图像隐写术,董士琪,刘建毅,隐写术和隐写分析是信息安全领域中的一个重要分支——信息隐藏的主要内容,二者在对抗中不断发展进步。近年来已经有大量的工作将��

2019-08-15 立即下载
256KB
论文研究-基于可信度的不确定性推理的研究与应用 .pdf

基于可信度的不确定性推理的研究与应用,杨阿琴,,本文将基于可信度的不确定性推理其运用到民航机务维修差错预警专家系统中进行研究中,并在Jess推理引擎的基础上,研究了具体的知��

2019-08-16 立即下载
202KB
论文研究-基于PSO算法的 -SVM算法参数优化 .pdf

基于PSO算法的 -SVM算法参数优化,王洁,白静,在v-SVM算法参数选择中,现多采用反复试验的方法,局限性较大且操作复杂。因此,本文采用了粒子群算法来优化v-SVM中的参数,并将之��

2019-08-16 立即下载
394KB
论文研究-基于数字图像处理的车牌识别技术的研究 .pdf

基于数字图像处理的车牌识别技术的研究,彭运生,王晨升,车牌识别系统(License Plate Recognition 简称LPR)技术广泛应用于智能交通系统中,一般分为车牌预处理、定位、字符分割和字符识别四个主�

2019-08-20 立即下载
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐