关于搜索引擎及其开发

关于搜索引擎及其开发

托 google、百度们成功的福，搜索引擎火了半边天。很多人都想跨到这个行业里边来。前两

天在公司里边面试了一些人，基本上没有感到满意。不是说从业经验不够，有些也已经工作

了三年、四年。不过我估计，或者说是猜想，是不是做应用做的时间太长了，把数据结构、

算法，时间、效率都扔到一边去了；然后平时的工作又太忙，平时自己工作的做的可以，但

对工作相关的、稍微扩展的知识没有时间或者说是懒得去看了。。。。。

哪个神仙把 robust 翻译成鲁棒性，放着健壮性之类的已经有的好词不用，非得翻译成这么一

个上下不着地的词，而且现在还有逐渐流行的趋势。。。。）。不过，有本书叫做<<现代信息检

索>>（MODERN INFORMATION RETRIEVAL），写的挺好。

呵呵。其实我在搜索引擎领域做的时间也不是多长，从进中搜到现在有两年多一点。我把我

的所学到的一点经验和平时的思考的东西写出来，与大家共同的切磋。写到哪里算是哪里，

您就将就去看。

按照目的的不同，搜索引擎分了两种：通用搜索(业内称为大搜索)和垂直搜索。网页搜索是

大搜索，新闻搜索、论坛搜索是垂直搜索，酷讯的生活搜索之类的都是垂直搜索。

有人问我，现在 google,baidu 都在做搜索，而且做的很成功，他的胳膊伸长一点，哪还有其

他的小厂商生存的余地?其实不光是搜索这个行业，其他的行业也存在、我们也可以提出相

同的问题。但是，每年都有新的公司冒起来—即便是它所做的领域已经有了成功的公司，但

是走在前边的成功公司并没有挡住后边新兴公司的路。我认为，市场的容纳能力和瞄准的市

场不一样决定了这个。单纯以搜索领域来讲，google 国外做的很成功并且不断扩张的的时候，

放在垂直搜索方面吗？我看不会。他们的任务是把自己在搜索领域的优势继续保持下去，君

和百度的贴吧和百度知道竞争，投资迅雷，和天涯合作，花钱买来流量；百度忍受不了自己

的用户在看着自己的贴吧的时候却在用 QQ 和 msn 交流，据说要做自己的即时通了。呵呵。

而且，现在各个巨头也在开始做本地搜索，手机搜索。。。。不管行业如何，留给各个后来者

的机会还有很多，市场很大，永远都有新想法诞生的可能。前提只有一个：不要跟巨头面对

面的竞争，跟他们在他们的优势领域竞争不是找死吗？我们的老祖宗早就有以己之长，攻彼

之短，只要你能跑在大船的前面，被收购也算是一个不错的选择，况且还有很多成为巨头的

机会！巨头的优势在于资金和技术积累；劣势在于，庞大了以后掉头不易，要做的太多，还

要小心翼翼的保持第一不被超越。而且，行业的繁荣才能有巨头的繁荣。珠穆朗玛峰只能出

现在青藏高原上。

下载。互联网通过超链，每一个网页是一个点，然后点和点之间有关联，关联的注释就是链

接文本，所有的链接组成了一个巨大的网。大搜索下载的任务就是把这些网的每一个点都保

存到本地（当然这是说理论上，现在互联网的规模，恐怕 google 也无法把所有的东西都保

存到本地）。这带来几个问题：1. 网页如何尽量不重复的下载。网络带宽资源是有限的，本

不断更新的，这种更新需要反映到本地硬盘上的数据。如何尽量及时的更新？

时 128 位，一般是取前 64 位。Md5 的重复率很低。我曾经做过 70 亿 Url 的实验，我尽量模

拟 Url 的组成生成了 70 亿 Url，然后取 md5 值，排重，没有发现一个重的；而且 md5 的散

对 ID 值取模（mod）是一个非常重要的思想。依赖于 md5 值的散列性，你可以把大量的数

据分成小堆，存到文件，各个小堆的数据是控制到可以放到内存中处理。这是查找、排重、

以及后边建索引的基本的方法。它使得我们可以把大任务分解成可以并发解决。这样的并发

系统是一个明显的木桶理论模型：决定于处理速度最慢的一个。但是，md5 的散列性非常好，

下载分成 Server 端和 Client 端。Server 端指定下载的种子，他把这些 url 发给 Client 端，client

端把 server 端给的 url 下载下来以后，分析页面把分析出来的 url 发给 server 端。。。。如此循

环。有了上边的介绍，判断是否下载就好说了。都是 64 位值得比较。最简单的办法，你可

以利用平衡二叉树，这是一个非常方便的动态查找的办法。不过，数据量一大，64 位值也

垂直搜索的下载和大搜索的下载是不一样的。垂直搜索针对一些特定的网站。以新闻为例：

新闻下载会针对新闻源，比如新浪，china.com 等新闻发布网站定时、定向抓取；寻找他们

的新闻发布的规律，把那些网页下载下来。这就没有上边所说的大图的遍历和更新机制的问

题了。难度不可同日而语。

说，但是，下载过程中碰到的问题可就多了。你需要解决大量的意想不到的事情，我在这里

也不能多说，不过可以举几个例子：如果你把一个网站访问的太过频繁，重则把这个网站给

弄瘫痪了（特别是小网站，大网站的抗打击能力还可以），轻则。。。让管理员注意到了太多

的访问就把你的 IP 给封了。下载需要礼貌。毕竟是访问别人的网站。这是到别人家里做客

啊！可不比自己家！还有作弊网页，大量的 SEO 作弊网页，下载的时候需要去掉一部分；

还有，不是所有的网站都是可以在任何时候访问的，新浪首页下载不下来的时候你怎么办？

得多想想后边如何处理。