Python实现美食数据爬取+数据分析+数据可视化.zip

import pandas as pd import numpy as np import pymysql # 数据的预处理 def pre_process(df): # 删除无用列数据 比如说：url地址、美食id df.drop('cate_url', inplace=True, axis=1) df.drop('food_id', inplace=True, axis=1) # 删除数据中为NaN的数据 df.dropna(how='any', inplace=True) # 删除餐厅名称一样的重复数据 df.drop_duplicates(subset=['title'],inplace=True) return df # 无锡不同美食分类下的餐厅数量 def food_cate_count(df): # 按照美食分类进行分组获取不同美食分类的餐厅数量 grouped = df.groupby('cate_name')['title'].count().reset_index() data = [[i['cate_name'],i['title']] for i in grouped.to_dict(orient='records')] print(data) return data # 无锡不同美食分类下的餐厅的平均评分 def food_cate_score(df): # 按照美食分类进行分组获取不同分类的平均评分 grouped = df.groupby(['cate_name'])['avg_score'].mean().reset_index() data = [[i['cate_name'],round(i['avg_score'],1)] for i in grouped.to_dict(orient='records')] print(data) return data # 无锡不同美食分类下的餐厅的平均价格 def food_cate_price(df): # 按照美食分类进行分组获取不同分类的平均价格 grouped = df.groupby(['cate_name'])['avg_price'].mean().reset_index() data = [[i['cate_name'], round(i['avg_price'], 1)] for i in grouped.to_dict(orient='records')] print(data) return data # 无锡评论最多的前十家餐厅 def food_comment_top10(df): # 按照评论数量进行排序 获取评论数量最多的前十个餐厅 food_comments = df.sort_values(by='comments',ascending=False)[['title','comments']][:10] data = [[i['title'],i['comments']] for i in food_comments.to_dict(orient='records')] print(data) return data # 无锡不同地区的餐厅数量分布 def food_area_count(df): # 按照地区进行分组 grouped = df.groupby(['area'])['title'].count().reset_index() data = [[i['area'],i['title']] for i in grouped.to_dict(orient='records')] print(data) return data if __name__ == '__main__': # 读取美团美食数据 df = pd.read_json('美团.json', lines=True) # 打印基本信息 print(df.head(5)) print(df.info()) # 预处理 df = pre_process(df) # 无锡不同美食分类下的餐厅数量 # data = food_cate_count(df) # 无锡不同美食分类下的餐厅的平均评分 # data = food_cate_score(df) # 无锡评论最多的前十家餐厅 # data = food_comment_top10(df) # 无锡不同美食分类下的餐厅的平均价格 # data = food_cate_price(df) # 无锡不同地区的餐厅数量 data = food_area_count(df) # 创建数据库连接 conn = pymysql.connect(host='localhost',user='root',password='123456',port=3306,database='mt_food',charset='utf8') with conn.cursor() as cursor: # 无锡不同美食分类下的餐厅数量 # sql = "insert into db_food_cate_count(cate_name,count) values(%s,%s)" # 无锡不同美食分类下的餐厅的平均评分 # sql = "insert into db_food_cate_score(cate_name,avg_score) values(%s,%s)" # 无锡不同美食分类下的餐厅的平均价格 # sql = "insert into db_food_cate_price(cate_name,avg_price) values(%s,%s)" # 无锡评论最多的前十家餐厅 # sql = "insert into db_food_comment_top10(name,comment) values(%s,%s)" # 无锡不同地区的餐厅数量 sql = "insert into db_food_area_count(area,count) values(%s,%s)" try: result = cursor.executemany(sql,data) if result: print('插入数据成功') conn.commit() except pymysql.MySQLError as error: print(error) conn.rollback()