skykiwi-scraper

Skykiwi刮板机 概述 这是我为了避免在新西兰寻找房租的麻烦而建立的附带项目。 选择Skykiwi是因为它是新西兰最活跃的论坛之一，提供包括租房在内的各种信息。 由于该网站本质上是静态的，因此所有内容都呈现在服务器端，因此简单的HTTP请求和HTML遍历就足以抓取数据。 结构 首先，我们要刮Skykiwi通过运行最新数据scraper.py ，这会将数据保存到称为单文件数据库entry.json 。 之后，可以从一个简单的网页查看数据，该网页位于通过Flask在app.py中提供的/templates中。 要求 的Python 3 （适用于Python的软件包管理器，如果尚未尝试，请尝试一下） 跑步 pipenv install pipenv run scraper.py pipenv run python app.py