没有合适的资源?快使用搜索试试~ 我知道了~
stubhub-crawler:持续轮询 stubhub api 并将票价数据存储在数据库中的 Java 应用程序
共26个文件
java:12个
py:3个
example:2个
需积分: 5 0 下载量 4 浏览量
2021-07-22
13:32:10
上传
评论
收藏 69KB ZIP 举报
温馨提示
存根爬虫 此存储库包含许多用于从 Stubhub API 收集数据的实用程序。 它以大约 6 秒的间隔永远运行(API 的免费层允许每分钟 10 个请求),查询 api 或加载事件以从数据库查询。 以下可以用gradle [name]运行 crawler :这是收集数据的主要手段。 它询问数据库要查询哪些事件,而不是重复查询 stubhub,将对该事件列表的更新存储在数据库中。 finder :根据事件的字符串标题进行简单的事件搜索,并将事件 ID 和名称的可读列表写出到名为 found_events.txt 的文件中,该文件可以在运行创建者之前进行修改 creator : 从 found_events 中读取事件 id,然后向 stubhub 询问每个事件的摘要,其结果存储在数据库中(如果事件在新的场地,则添加场地),以便爬虫开始查询下次重新加载时发生事件。 它包括一个非常原始的监
资源推荐
资源详情
资源评论
收起资源包目录
stubhub-crawler-master.zip (26个子文件)
stubhub-crawler-master
working.sql 1KB
gradlew.bat 2KB
gradlew 5KB
gradle.properties.example 403B
gradle
wrapper
gradle-wrapper.jar 50KB
gradle-wrapper.properties 230B
src
main
python
pull_listings.py 318B
monitor.py 795B
resources
logback.xml 640B
java
crawler
models
ListingUpdate.java 5KB
NewListing.java 1003B
EventCreator.java 2KB
RateLimitedRunnableLooper.java 2KB
DBConnFactory.java 801B
EventFinder.java 1KB
StubhubApi.java 5KB
Crawler.java 872B
runnables
EventRecorderReloader.java 1KB
EventRecorder.java 13KB
EventAdder.java 4KB
util
StopWatch.java 331B
mail_config.py.example 103B
.gitignore 119B
README.md 1KB
monitor.py 795B
build.gradle 1KB
共 26 条
- 1
资源评论
吴玄熙
- 粉丝: 21
- 资源: 4583
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功