没有合适的资源?快使用搜索试试~ 我知道了~
DotnetSpiderLite:轻量级爬虫框架。源于DotnetSpider
共215个文件
cs:163个
csproj:32个
json:3个
需积分: 30 4 下载量 195 浏览量
2021-05-25
03:18:13
上传
评论
收藏 275KB ZIP 举报
温馨提示
DotnetSpiderLite 轻量级 dotnet 爬虫。复刻自 DotnetSpider 造这个轮子的原因是, DotnetSpider各个之间依赖太强了,本来想简单的采集一些东西,安装后却来了一个全家桶... 我的期望是各个组件之间尽可能的解耦,但需要的时候就安装这个组件。 名词 Downloader : 下载器 PageProcessor : 页面下载器 Pipeline : 数据管道 Scheduler : 队列 TODO 完善注释 UI管理界面 数据库 支持 注解模式 安装 i. 安装包 PM> install-package DotnetSpiderLite.Core ii. 安装html解析扩展包(可选,如果需求解析html,则需要安装) 目前实现了 和 PM> install-package DotnetSpiderLite.HtmlAgilityPack
资源推荐
资源详情
资源评论
收起资源包目录
DotnetSpiderLite:轻量级爬虫框架。源于DotnetSpider (215个子文件)
TinyIoC.cs.bak 145KB
build_pack.bat 122B
copy_pack.bat 114B
clar_pack.bat 63B
NLog.config 1KB
packages.config 276B
App.config 184B
Spider.cs 35KB
RedisStore.cs 8KB
NodeClient.cs 6KB
ConsoleLogger.cs 5KB
PageEntityProcessor.cs 5KB
HttpProxyPool.cs 5KB
DefaultHttpClientDownloader.cs 5KB
DefaultHttpClientDownloader.cs 4KB
DefaultProxyValidator.cs 4KB
Program.cs 4KB
Helper.cs 4KB
WeixinSougouTest.cs 4KB
RequesetExtensions.cs 4KB
CnBlogTest.cs 3KB
ThreadCommonPool.cs 3KB
SpiderExtensions.cs 3KB
Page.cs 3KB
Logger.cs 3KB
Request.cs 3KB
HtmlQuery.cs 3KB
RedisStore.cs 3KB
LoggerFactory.cs 3KB
NodeHubHost.cs 3KB
DefaultWebRequestDownloader.cs 3KB
LoggerExtensions.cs 3KB
SampleQueueScheduler.cs 2KB
BaseDownloader.cs 2KB
EntitySpider.cs 2KB
HtmlQuery.cs 2KB
EntityInterpreter.cs 2KB
FilePipeline.cs 2KB
JsonFilePipeline.cs 2KB
RedisScheduler.cs 2KB
SpiderBuilder.cs 2KB
PageExtensions.cs 2KB
Log4Logger.cs 2KB
Program.cs 2KB
WebDriverDownloader.cs 2KB
MonitorData.cs 2KB
BaseHtmlExtracter.cs 2KB
LogLevel.cs 2KB
Response.cs 2KB
NodeHubSpider.cs 1KB
NLogger.cs 1KB
AssemblyInfo.cs 1KB
Startup.cs 1KB
IHtmlElement.cs 1KB
IHtmlExtracter.cs 1KB
SimpleDownloaderProxyPools.cs 1KB
HtmlElementAbstraction.cs 1KB
ILogger.cs 1KB
IDownloader.cs 1KB
HttpProxyInfo.cs 1KB
PageExtensions.cs 1KB
ISchedulerMonitor.cs 1017B
Program.cs 993B
ValuesController.cs 992B
LogManager.cs 979B
BasePageProcessor.cs 886B
Logger.cs 871B
AsyncContext.cs 831B
SpiderExtensions.cs 824B
DownloaderProxyPools.cs 807B
LogProvider.cs 796B
SpiderExtensions.cs 790B
BaseFilePipeline.cs 787B
HtmlElementSelector.cs 783B
SpiderExtensions.cs 768B
HtmlElementSelector.cs 766B
DownloaderProxy.cs 754B
DatabasePipeline.cs 748B
SelectorAttribute.cs 745B
UrlHelper.cs 721B
IPageHtmlExtracter.cs 714B
Node.cs 704B
LogMonitor.cs 704B
HtmlElement.cs 701B
PageExtensions.cs 686B
AutomicLong.cs 667B
AtomicInteger.cs 667B
HeartbeatModel.cs 663B
HtmlElement.cs 662B
EntityDefine.cs 658B
ConsolePipeline.cs 641B
Program.cs 624B
WebDriverDownloaderOptions.cs 617B
ConsoleLoggerProvider.cs 617B
NLogProvider.cs 616B
IHtmlQuery.cs 599B
IHtmlElementSelector.cs 587B
ISchedulerDuplicateRemover.cs 576B
IScheduler.cs 569B
ReceiveDataModel.cs 563B
共 215 条
- 1
- 2
- 3
资源评论
李念遠
- 粉丝: 18
- 资源: 4616
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功