google-flights-crawler

google-flights-crawler 这些是一些用于抓取Google Flights的实用程序。 crawler.js 该文件包含使用puppeteer与网站进行交互的基本API。 创建一个通过伪造者页面的新Crawler对象，您就可以轻松地与页面进行交互（设置字段值，搜索，查询等）。 index.js 这是一个示例运行器，它使用一个模式生成器作为输入，生成所有可能的组合，并在几个伪造者的池中运行（都可配置）。 它将进度的每一点保存在磁盘上以及所提供目录的GCS上。 发生任何错误时，它将分别重试。 运行 这将执行一次完整的运行：使用当前时间戳创建一个目录，安全地为该目录运行索引并等待完成。 它被困住了，所以不管它成功与否，它都会删除tmp文件夹，并将整个日志保存到GCS，并在需要时关闭计算机。 start.sh 该命令将通过ssh从外部运行。 它将自己的日志保存在磁盘上，将