合肥工业大学 Python玩转大数据课件+全部实验代码+大作业代码及报告

<?xml version="1.0" encoding="UTF-8" standalone="yes"?> <w:document xmlns:wpc="http://schemas.microsoft.com/office/word/2010/wordprocessingCanvas" xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:r="http://schemas.openxmlformats.org/officeDocument/2006/relationships" xmlns:m="http://schemas.openxmlformats.org/officeDocument/2006/math" xmlns:v="urn:schemas-microsoft-com:vml" xmlns:wp14="http://schemas.microsoft.com/office/word/2010/wordprocessingDrawing" xmlns:wp="http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing" xmlns:w="http://schemas.openxmlformats.org/wordprocessingml/2006/main" xmlns:w14="http://schemas.microsoft.com/office/word/2010/wordml" xmlns:w10="urn:schemas-microsoft-com:office:word" xmlns:w15="http://schemas.microsoft.com/office/word/2012/wordml" xmlns:wpg="http://schemas.microsoft.com/office/word/2010/wordprocessingGroup" xmlns:wpi="http://schemas.microsoft.com/office/word/2010/wordprocessingInk" xmlns:wne="http://schemas.microsoft.com/office/word/2006/wordml" xmlns:wps="http://schemas.microsoft.com/office/word/2010/wordprocessingShape" xmlns:wpsCustomData="http://www.wps.cn/officeDocument/2013/wpsCustomData" mc:Ignorable="w14 w15 wp14"><w:body><w:p><w:pPr><w:jc w:val="center"/><w:rPr><w:sz w:val="28"/><w:szCs w:val="36"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:sz w:val="28"/><w:szCs w:val="36"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>《Python 玩转大数据》课程大作业</w:t></w:r></w:p><w:p><w:pPr><w:numPr><w:ilvl w:val="0"/><w:numId w:val="2"/></w:numPr><w:ind w:left="-400" w:leftChars="0" w:firstLine="400" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="default"/><w:b/><w:bCs/><w:sz w:val="24"/><w:szCs w:val="32"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:b/><w:bCs/><w:sz w:val="24"/><w:szCs w:val="32"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>选题背景</w:t></w:r></w:p><w:p><w:pPr><w:widowControl w:val="0"/><w:numPr><w:numId w:val="0"/></w:numPr><w:ind w:firstLine="420" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="default"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="default"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>按照目前状况，新冠疫情已成为全国人民极度关注的重点，不管是每日微博热点还是新闻报告，人们都是非常的关注，不论是浏览量还是评论量都是非常高的。由于近几年大数据行业的蓬勃发展和疫情数据的公开可，数据新闻生产主体的下沉的迹象，更有各大、小众媒体、个人自媒体开始着手组建专业的数据新闻团队，通过获取最新的实时数据，来给新闻增加可读性，和可信度。除此之外还出现了很多的数据服务的提供商，在不收取任何服务费用下，为互联网、广大人民提供数据信息。</w:t></w:r></w:p><w:p><w:pPr><w:widowControl w:val="0"/><w:numPr><w:numId w:val="0"/></w:numPr><w:ind w:firstLine="420" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="eastAsia"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="default"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>自从2020年新冠疫情发生后，至今为止的相关数据新闻已经是非常的巨大了，在每一个重要的事件和时间节点上，都在用数据尝试帮助我们解剖全球的疫情状况。由此可见，新冠疫情数据的新闻报道数量与国内疫情发展变化的状态是基本同步的。为此，本作品是对全国及全球的疫情数据进行实时的爬取，</w:t></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>对历史的数据也进行了爬取，并利用pyechart对其做可视化结果。</w:t></w:r></w:p><w:p><w:pPr><w:widowControl w:val="0"/><w:numPr><w:numId w:val="0"/></w:numPr><w:ind w:firstLine="420" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="default"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>要获取的数据有全国各个省市的新冠数据，包括现有确诊，新增确诊，新增死亡，新增痊愈，累计确诊等等，可以用dataframe进行封装，同样，世界各地的新冠数据也可以用dataframe进行封装。</w:t></w:r></w:p><w:p><w:pPr><w:numPr><w:ilvl w:val="0"/><w:numId w:val="2"/></w:numPr><w:ind w:left="-400" w:leftChars="0" w:firstLine="400" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="default"/><w:b/><w:bCs/><w:sz w:val="24"/><w:szCs w:val="32"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:b/><w:bCs/><w:sz w:val="24"/><w:szCs w:val="32"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>获取数据</w:t></w:r></w:p><w:p><w:pPr><w:widowControl w:val="0"/><w:numPr><w:ilvl w:val="0"/><w:numId w:val="0"/></w:numPr><w:ind w:firstLine="420" w:firstLineChars="0"/><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="default"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr><w:r><w:rPr><w:rFonts w:hint="default"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>以网易的疫情播报平台为例，因为它的数据内容非常丰富，不仅包括国内的数据还包括国外的数据，且作为大平台，公信度也比较高。因此我选择网易的疫情实时动态播报平台作为数据源，其地址如下</w:t></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>：</w:t></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:fldChar w:fldCharType="begin"/></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:instrText xml:space="preserve"> HYPERLINK &quot;https://wp.m.163.com/163/page/news/virus_report/index.html?_nw_=1&amp;_anw_=1&quot; </w:instrText></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:fldChar w:fldCharType="separate"/></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>实时更新|新冠肺炎疫情动态地图 (163.com)</w:t></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:fldChar w:fldCharType="end"/></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>，</w:t></w:r><w:r><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="auto"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr><w:t>首页如下：</w:t></w:r></w:p><w:p><w:pPr><w:widowControl w:val="0"/><w:numPr><w:ilvl w:val="0"/><w:numId w:val="0"/></w:numPr><w:jc w:val="both"/><w:rPr><w:rFonts w:hint="eastAsia"/><w:color w:val="0000FF"/><w:sz w:val="21"/><w:szCs w:val="24"/><w:lang w:val="en-US" w:eastAsia="zh-CN"/></w:rPr></w:pPr>