没有合适的资源?快使用搜索试试~ 我知道了~
soluvas-scrape:声明式网站抓取Java中的libraryframework。 使用Jaunt
共59个文件
java:38个
jsonld:4个
xml:4个
需积分: 9 0 下载量 169 浏览量
2021-05-22
13:13:48
上传
评论
收藏 65KB ZIP 举报
温馨提示
Soluvas刮擦 使用Java的声明性网站抓取库/框架。 使用Jaunt。 基础图书馆 。 主引擎。 TBD: + 用于需要JavaScript支持的高级用例。 待定: 。 对于更简单的用例,jSoup可能就足够了。 计划的输出格式和数据库 JSON (待办事项) PostgreSQL (TODO) CSV (待办事项) MongoDB (待办事项) 实木复合地板(TODO)。 因此,您可以使用Hive / Pig进行查询。 HBase (TODO)。 因此,您可以使用Hive / Pig进行查询。 XLSX (待办事项) 消耗臭氧层物质(TODO) 概念 集合。 包含实体列表,所有实体都具有相同的属性架构。 财产。 模式的一部分。 集合中的所有实体都具有相同的属性定义,但并非所有实体都被填充。 实体。 集合中的单个元素。 计划功能 使用Apache HttpC
资源推荐
资源详情
资源评论
收起资源包目录
soluvas-scrape-master.zip (59个子文件)
soluvas-scrape-master
.gitignore 170B
README.md 5KB
pom.xml 650B
LICENSE 11KB
.gitattributes 858B
core
.gitignore 116B
pom.xml 18KB
build.sh 227B
src
test
java
org
soluvas
scrape
core
UpsertTest.java 8KB
MultiUpsertTest.java 11KB
ScraperTest.java 3KB
FetcherTest.java 2KB
ScrapeTemplateTest.java 2KB
TableDdlGeneratorTest.java 3KB
MultiSummarizeTest.java 1KB
SummarizeTest.java 3KB
main
resources
rebel.xml 366B
org
soluvas
scrape
core
sql
create_table.sql.mustache 175B
logback.xml 746B
application.properties 1KB
java
org
soluvas
scrape
core
PropertyDef.java 2KB
RpcParam.java 884B
FetchData.java 1KB
FetchToUpsertTask.java 2KB
ScrapeConfig.java 1KB
ScrapeTemplateRepositoryImpl.java 932B
PropertySource.java 268B
Scraper.java 10KB
JsonRpc2MethodCall.java 663B
EntityData.java 757B
CollectionDef.java 2KB
JsonRpc2MethodResult.java 1KB
Cardinality.java 256B
CollectionData.java 565B
PropertyValue.java 1KB
jsonrpc
JsonRpcException.java 459B
EnumOption.java 453B
cli
MultiScrapeThenSummarize.java 9KB
MappingSource.java 310B
sql
TableDmlGenerator.java 8KB
PersistentMap.java 3KB
TableDdlGenerator.java 4KB
ScrapeException.java 751B
ScrapeTemplate.java 3KB
Summarizer.java 52KB
Fetcher.java 7KB
EnumerationDef.java 734B
ScrapeData.java 632B
PropertyKind.java 407B
PropertyData.java 574B
config
.gitignore 139B
application.dev.properties 634B
application.prd.properties 926B
sample
ppdb
filtered_select.ScrapeTemplate.jsonld 3KB
registered_select.ScrapeTemplate.jsonld 3KB
school_select.ScrapeTemplate.jsonld 2KB
student_get.ScrapeTemplate.jsonld 4KB
periodicmultiscrapethensummarize 263B
deploy.sh 308B
共 59 条
- 1
资源评论
易三叨
- 粉丝: 41
- 资源: 4610
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功