Python爬取豆瓣top250电影数据，并导入MySQL，写入excel_python使用mysql爬取豆瓣资源-CSDN下载

版权申诉

5星 · 超过95%的资源 62 浏览量 2020-12-21 22:10:03 上传评论 10 收藏 35KB PDF 举报

资源详情

资源评论

资源推荐

Python爬取豆瓣爬取豆瓣top250电影数据，并导入电影数据，并导入MySQL，写入，写入

excel

Python爬取豆瓣爬取豆瓣top250电影数据，并导入电影数据，并导入MySQL，写入，写入excel

具体数据：电影链接、电影名称、电影评分、评分人数、电影概括具体数据：电影链接、电影名称、电影评分、评分人数、电影概括

import pymysql

import xlwt

from bs4 import BeautifulSoup

from urllib import request

import re

baseurl = 'https://movie.douban.com/top250?start='

headers = {

'User-Agent': 'XXXXX',

'Referer': 'https://movie.douban.com/top250?start=25&filter='

}

data_list = [] #储存总数据的列表

book = xlwt.Workbook(encoding='utf-8',style_compression=0) #创建excel

sheet = book.add_sheet('豆瓣Top') #创建sheet

col = ("电影链接","电影名称","评分","人数","概括") #列属性

for i in range(0,len(col)): #将列属性写入excel

sheet.write(0,i,col[i])

for k in range(0,10): #爬取

url = baseurl+f'{k*25}'

req = request.Request(url,headers=headers) #上传请求头信息

response = request.urlopen(req)

html = response.read().decode('utf-8') #返回网页源码

soup = BeautifulSoup(html,'html.parser') #将源码转变为soup类型

#电影链接

findLink = re.compile(r'')

#电影名称

findName = re.compile(r'(.*?)',re.S) #两个匹配

#评分

findGoal = re.compile(r'(.*)')

#评价人数

findNum = re.compile(r'(.*)人评价')

#电影信息

findInq = re.compile(r'(.*?)')

for item in soup.find_all('div',class_="info"): #筛选源码范围

data = [] item = str(item)

link = re.findall(findLink,item)

name = re.findall(findName,item)[0] goal = re.findall(findGoal,item)

num = re.findall(findNum,item)

inq = re.findall(findInq,item)

data.append(link)

data.append(name.strip()) #除去空格

data.append(goal)

data.append(num)

data.append(inq)

data_list.append(data)

print(f'第{len(data_list)}条')

for i in range(0, len(data_list)): #写入excel中

for j in range(0, len(col)):

sheet.write(i + 1, j, data_list[i][j])

book.save('douban_top.xls') #保存文件

conn=pymysql.connect(host='localhost',user='root',password='XXXX',

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

心动

2023-12-16

根本加载不出来

评论收藏

内容反馈

版权申诉

weixin_38725450

粉丝: 2

Python爬取豆瓣top250电影数据，并导入MySQL，写入excel

评论11

最新资源

Python爬取豆瓣top250电影数据，并导入MySQL，写入excel

评论11

用爬虫爬取豆瓣电影TOP250，并用PythonTkinter实现GUI展示与电影信息检索

python爬取豆瓣电影top250

Python 爬取豆瓣电影Top250

Python爬取豆瓣电影评分Top250

Python爬取豆瓣250数据保存到MySQL或者excel代码

python requests库爬取豆瓣电视剧数据并保存到本地详解

爬取豆瓣热门电影数据并存储到本地MySql数据库

爬虫_豆瓣电影

利用python3爬虫爬取全国天气数据并保存入Mysql数据库

利用selenium编写的python网络爬虫-淘宝商品信息并保存到mysql数据库

Python scrapy爬取豆瓣电影top250

Python爬取数据并写入MySQL数据库的实例

Python爬虫程序源代码爬取豆瓣TOP250排行榜数据电影名称评分导演演员等信息

WindowsXP%2BSP3下的IIS6.0安装包.rar

爬虫练习合集的压缩包，包括爬取豆瓣TOP250的信息、爬取中文网小说信息以及十个爬虫练习

热门电影影评数据爬取_爬虫python_爬取数据_爬取豆瓣影评_数据爬虫_python爬虫_

用60行代码用python编译一个简易爬虫，自动爬取豆瓣酱中《肖申克的救赎》前9页（前180个）热评，并写入txt文本和数据库

豆瓣网电影人名数据爬取

超级简单快捷爬虫代码python

用Python爬取豆瓣电影分类排行榜（保存至本地）

Python实现的爬取豆瓣电影信息功能案例

爬虫爬取豆瓣电影TOP250源代码

scrapy实现爬取豆瓣书籍并放入mysql数据库中

python爬取豆瓣top250并下载图片

Python使用mongodb保存爬取豆瓣电影的数据过程解析

Python爬取豆瓣电影top250部使用flask框架可视化数据.zip

应用Python爬虫、Flask框架、Echarts、WordCloud等技术将豆瓣租房信息爬取出来保存于Excel和数据库中

python豆瓣读书爬虫.zip

最新资源