《基于Python实现对上海各地区房地产（新房和二手房）数据的爬虫抓取, 数据处理和可视化分析》+源代码+文档说明

# HousePriceAnalysis 上海地区新房和二手房数据的爬虫抓取, 数据处理和可视化分析 ### 项目背景： 本人预计于近两年购房，所以准备获取上海地区二手房和新房数据进行数据清洗和转换，并基于该数据进行可视化分析和统计学分析，以期获取上海各区内地区的基础房价情况，并从中获取一些可用的信息和结论。 ### 项目过程： - 初步研究根据房天下的页面结构和基础的反爬策略，确定需要的字段信息 - 根据需要的字段信息，设计爬虫程序，支持指定区和地区的爬取和全区爬取 - 将爬取得到的数据进行本地持久化化存储(暂时保持在CSV文件) - 对已经获取数据进行清洗和优化，通过高德API获取经纬度， 并计算到特定点的直线距离 - 基于 Tableau 进行数据可视化分析，包括各区的房价分布情况和小区的基础信息 - 更进一步的统计学分析(暂未进行)  > 注意:本项目仅用于学习和个人分析使用, 不得用于任何商业目的, 有违反者后果自行承担.