大数据技术文档样本.docx
29 浏览量
2023-08-04
09:00:58
上传
评论
收藏 686KB DOCX 举报
资料内容仅供您学习参考，如有不当之处，请联系改正或者删除。
第 1 章 绪论
随着计算机技术、 通信网、 互联网的迅速发展和日益普及,
Internet 上的信息量快速增长。从海量的信息块中快速检索出用户真正需
要的信息正变得很困难, 信息搜索应向着具有分布式处理能力方向发展,
本系统利用 hadoop 分布式开源框架良好的扩充能力、 较低的运作成本、
较高的效率和稳定性来满足需求。
现状:
缺陷和不足:
( 1) 结果主题相关度不高。
( 2) 搜素速度慢。
引入 hadoop+nutch+solr 的优点:
( 1) hadoop 平台数据处理高效。hadoop 集群处理数据比起单机节省数倍
的时间, 数据量越大优势越明显, 满足信息采集对数据处理的速度和质量
要求。
( 2) hadoop 平台具有高扩展性。能够适当扩展集群数量来满足日益不断
增加的数据量, 而这并不会毁坏原集群的特性。
剩余47页未读，继续阅读
资源评论
