urlminer:递归网络爬虫从网络中提取所有网址，

网址挖掘器 URL-Miner - 是一种递归网络爬虫，用于从网页中提取所有 url。 作者：@CoolerVoid、@pl4nkt0n、@slyfunky 建设中... 去做： 使用 DFA 验证 URL 相对路径 使用转换技巧添加 URL 解析 使用 SSE42 添加 url 解析 使用 SQLite 创建数据库 使用带有 URL 的 SQLite 使用Redis创建和使用数据库 比较 Redis 和 SQLite 并选择一 在 URL 路径处创建深度计数器 例子： domain.com/var1/var2/page.html = 深度 2 domain.com/var1/page.html = 深度 1 domain.com/page.html = 深度 0 每个递归函数中继器添加深度计数器 使用 lib mongoose 创建接口以使用 HTTPd 创建 Web