SearchEngine:简单的搜索引擎

搜索引擎 简单的搜索引擎 问题： 1：对于大文件，创建太多线程使得将网页文本复制到磁盘非常慢。 解决方案：创建第一个链接的线程并同时抓取。（保持这些线程始终连接到 TCP。）或将文档存储在单个文件中。 使用 HTML 格式 2：相同的url会被多次抓取。 解决方法：应该使用哈希表来消除它。 其他解决方案：使用 url 作为文件名。 3：添加图片（以何种方式存储） 解决方法：简单的将图片存储为png，链接到txt文件中。 () 4：抓取网站时，可能会失败并停止程序。 解决方案：使用稳定的网站，例如。 维基百科。 问题： 1：我什么时候索引？ 创建文件时或文件后索引。 （前一个更高效，但工作量不大） 2：索引标题或文本？ 项目信息： 1：爬取耗时：7.04小时。 下载数据：5.9 GB。 so many interrupting when crawling and thre