没有合适的资源?快使用搜索试试~ 我知道了~
BaiduZhidaoSpider:百度知道爬虫,爬取问答对
共268个文件
html:220个
java:20个
class:13个
需积分: 50 9 下载量 121 浏览量
2021-05-31
05:54:51
上传
评论 1
收藏 7.15MB ZIP 举报
温馨提示
QA 问答系统,目前还只针对百度知道 QA系统使用说明 1.数据库说明: 数据库中的字段跟师兄给我的一样,只有两个评论字段没有下载。 另外为了实现师兄所说的多线程下载,我在query表,qapair_resultslist表中添加了finished字段,用来表示该条记录是否已经下载过,为1时表示已经下载过,该记录的所对应的网页都已下载到本地,只要调用相应的分析程序即可;为0表示还没有下载。 系统使用说明: 可以有两个方法来执行该程序。 1)运行Main函数(该函数在com.hitsz.main中) 只要数据库中的query表中有查询问句,并且finished字段为0,该函数就会将query中的问句列表逐一的去下载,并将网页结果保存到本地,将分析结果保存到数据库中。中间不需要任何干预,除非出现了还没有考虑到的错误。 整个系统目前使用的还是单线程,因此在下载网页时可能会比较慢,为了防止由于频繁
资源推荐
资源详情
资源评论
收起资源包目录
BaiduZhidaoSpider:百度知道爬虫,爬取问答对 (268个子文件)
Baidu.class 10KB
QADBUtil.class 9KB
DBUtil.class 5KB
TestBaidu.class 4KB
NetUtil.class 3KB
TestDB.class 3KB
Configuration.class 3KB
TestBaiduParser.class 2KB
FileUtil.class 2KB
ConfigUtil.class 1KB
TestBaiduUtil.class 1KB
Constants.class 707B
PropNotConfigedException.class 468B
.classpath 691B
.gitignore 30B
98105061.html 151KB
297946779.html 151KB
318408407.html 144KB
61491114.html 130KB
27984146.html 124KB
33285601.html 123KB
127757995.html 122KB
28766094.html 120KB
14086747.html 119KB
1810632.html 118KB
43623685.html 117KB
365552367.html 115KB
36568426.html 115KB
121875718.html 113KB
336265661.html 112KB
31423432.html 110KB
6921569.html 110KB
39601568.html 107KB
39038584.html 107KB
94889039.html 105KB
319406684.html 105KB
102073778.html 105KB
356345782.html 104KB
176836165.html 103KB
3185569.html 102KB
3576715.html 102KB
309402763.html 102KB
14370034.html 102KB
10006264.html 101KB
18739114.html 101KB
361444315.html 101KB
175857147.html 101KB
51277646.html 101KB
56756904.html 100KB
47840178.html 99KB
219655611.html 99KB
5419623.html 98KB
279869012.html 97KB
34093088.html 97KB
318406191.html 97KB
7345476.html 97KB
237037675.html 97KB
5056096.html 95KB
152163217.html 95KB
10753826.html 94KB
398540899.html 94KB
260015488.html 94KB
7788140.html 94KB
305454405.html 94KB
81730074.html 94KB
404630662.html 94KB
86978823.html 94KB
106400857.html 93KB
217298969.html 93KB
27052053.html 92KB
115473996.html 92KB
37728326.html 92KB
278676227.html 92KB
84937611.html 92KB
120410768.html 92KB
41936172.html 91KB
286973188.html 91KB
4827426.html 91KB
57603140.html 91KB
71410511.html 91KB
521099132.html 90KB
446377044.html 90KB
24025885.html 90KB
4823195.html 90KB
4039485.html 90KB
119635362.html 90KB
59464930.html 90KB
99483175.html 90KB
457107132.html 89KB
33661924.html 89KB
438075512.html 89KB
2525273.html 89KB
233143127.html 89KB
148341438.html 88KB
467313982.html 88KB
11584782.html 88KB
396165087.html 88KB
50028853.html 88KB
137696.html 88KB
456811458.html 88KB
共 268 条
- 1
- 2
- 3
资源评论
weixin_42138139
- 粉丝: 18
- 资源: 4654
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功