非结构化信息管理和搜索的发展现状.pdf
版权申诉
31 浏览量
2022-11-27
21:56:40
上传
评论
收藏 194KB PDF 举报
1 关键词全文检索技术日显局促，亟待突破
世界范围的 WWW 正以目前每 9 个月增加一倍的速度飞速发展，并还将以指数速度继续增加。而另一方面，
在从 Web 或数据仓库中找到你所需要的内容却并非进展迅速，虽然检索到相关结果的速度正以兆兆字节甚至
十倍于此的速度增加。据 2004 年 5 月 NielsenNormanGroup 发布的 2004Web 可用性调查结果显示，所有用户
（包括偶尔使用或经验丰富的用户）对搜索结果满意的次数百分比仅为 42%，经验丰富的用户这一数字可以
达到 50%[1]。最糟糕的搜索经历常发生在使用企业网站点搜索而不是使用巨型搜索引擎的时候。另据
ForresterResearch 的统计表明，非结构化信息的数量正在以每年 200%的速度增长。一般员工大约要花费
35%的时间寻找工作所需的非结构化信息[2]。由此可见，搜索引擎必须采取措施使自己变得更为聪明，同时
能更准确全面的为大多数用户带来令人满意的搜索结果。我们需要有一个工具，能同管理结构化信息一样，
有效地管理我们的非结构化信息。
2 有望终结传统搜索模式的 Autonomy 的“样板工程”Blinkx 英德中文版已经推出
2004 年 7 月，位于美国旧金山的创业公司 Blinkx 推出了一种新型搜索工具 Blinkx，该工具可以提供类
似“模糊搜索”或“语义搜索”的功能。也就是说，当用户提出类似“搜索引擎未来发展趋势如何”这样的
搜索需求时，搜索引擎能够给出相关内容的搜索列表，而不会像传统搜索工具那样只是机械的给出包含“搜
索”、“引擎”、“未来”、“发展”、“趋势”等词汇但却远离该主题的文章。Blinkx 不仅可以搜索文本内容，
还可以搜索电影电视等多媒体内容，不仅可以搜索互联网内容，还可以搜索本机和局域网上的内容。Blinkx
同时还可以搜索不同的文本格式内容，如Text、Word、Excel、PPT、PDF 以及各种数据库中的数据格式。有
媒体把这种搜索方式称为“智能搜索”，这样的搜索引擎一直以来都是人们的梦想，或许 Autonomy 就是下一
代搜索引擎的开端也未可知。当然 Autonomy 并不只局限于桌面搜索这个狭窄的领域，它不只是代表一系列
产品，也不只是一家公司的名字，最主要的是它代表着一种搜索理念和技术[3]。一旦它成功，桌面搜索的
格局自然也会跟着发生翻天覆地的变化。
如果安装了 Blinkx 的客户端软件，一个小的菜单窗口就会出现在 Word、Outlook 等几乎所有文档处理窗
口的右上方。用户在这些窗口中处理文档时，系统会自动分析这个文档，然后自动从本机或网络上抓取相关
文章或链接，以供用户参考。它还可以及时提供与文章内容相关的新闻、产品信息、视频内容等分类信息。
简单地说，用户完全可以拿一篇文章来作为“查询关键词”，Blinkx 通过对这篇文章进行分析，会给出与这
篇文章内容最接近的网络链接或本机文档[4]。这无疑给需要处理大量数据的个人和企业提供了巨大便利。
2005 年元旦刚过 Blinkx 进入中国市场，其中文测试版已经“竣工”。目前已经在国内某数据中心建立了
一个试验平台，大约有 30 多台服务器正在运行着 Blinkx 的后台系统[5]。
Autonomy 公司是 Blinkx 公司的股东之一，Blinkx 的核心技术也来自 Autonomy，因为这种密切关系，
Blinkx 被认为是 Autonomy 的“样板工程”。此前，Autonomy 一直像汽车发动机一样隐藏在幕后。Autonomy
虽然在公众中的知名度不太大，但在商业应用领域中却名声显赫，并在政府、国防、新闻、金融、电信、教
育等领域拥有大量中坚客户。而且，Autonomy 还是一个“历史悠久”的 IT 公司，同时在美国和英国上市，
拥有超过 1.47 亿美元的现金。
3 Autonomy 的模式识别技术，可以帮助用户发现一些事前不知道的相关信息
目前，人类研究的信息搜索技术有四个方向：关键字搜索，模式识别，语义分析，神经网络。除了关键
词搜索比较成熟外，其他三项技术还处于待开发状态。模式识别的代表者就是Autonomy，语义分析和神经
网络两个技术方向目前尚无压倒性的代表者，一年半载不会有突破性的研究成果。所以，模式识别就成了目
前比较先进的信息搜索技术。
采用“模式识别”搜索方法，可通过判别相关识别度的高低来对数据进行检索，可以避免传统“关键词
检索”造成的漏检情况的发生。比如一篇文章里如果有“大海”这个词，这篇文章有可能和企鹅有关，但是
“大海”这个词用在很多不同的地方，有可能文章讲的是别的内容。但是如果一篇文章里有“大海”、“南极”、
“黑色”、“白色”、“不会飞”、“羽毛”、“下蛋”、“石油”、“泄露”等这些词，这篇文章是在谈论污染和企鹅
的概率就会很高。虽然整篇文章里没有“企鹅”这个词，但是很多相关度较低的词出现在一起就会带来很高
的相关度，并且缺少某个描述词对其产生的结果影响微乎其微。
如果说传统的“关键字”搜索方法为“search”（搜索）的话，autonomy 采用的“模式识别”方法则应
评论0
最新资源