没有合适的资源?快使用搜索试试~ 我知道了~
资源数据采集技术方案完整.doc
需积分: 5 0 下载量 42 浏览量
2022-10-24
09:38:50
上传
评论
收藏 2.49MB DOC 举报
温馨提示
试读
63页
资源数据采集技术方案完整.doc
资源详情
资源评论
资源推荐
资源数据采集技术方案
(优质文档,可直接使用,可编辑,欢迎下载)
资源数据采集
技术方案
公司名称
2021 年 7 月
二 O 一一年七月
第 1 部分 概述
1.1 项目概况
Internet 已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道,站
点遍布全球的巨大信息服务网,为用户提供了一个极具价值的信息源。无论是个人的发展还
是企业竞争力的提升都越来越多地依赖对网上信息资源的利用.
现在是信息时代,信息是一种重要的资源,它在人们的生活和工作中起着重要的作用.
计算机和现代信息技术的迅速发展,使 Internet 成为人们传递信息的一个重要的桥梁。网络
的不断发展,伴随着大量信息的产生,如何在海量的信息源中查找搜集所需的信息资源成为
了我们今后建设在线预订类旅游网重要的组成部分。
因此,在当今高度信息化的社会里,信息的获取和信息的及时性。而 Web 数据采集可
以通过一系列方法,依据用户兴趣,自动搜取网上特定种类的信息,去除无关数据和垃圾数
据,筛选虚假数据和迟滞数据,过滤重复数据.直接将信息按照用户的要求呈现给用户。可
以大大减轻用户的信息过载和信息迷失。
1.2 系统建设目标
在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主,涉及食、住、行、
游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站.
如果用户要搜集这一类网站的相关数据,通常的做法是人工浏览网站,查看最近更新的
信息。然后再将之复制粘贴到 Excel 文档或已有资源系统中.这种做法不仅费时费力,而且在
查找的过程中可能还会遗漏,数据转移的过程中会出错.针对这种情况,在线预订类旅游网
信息自动采集的系统可以实现数据采集的高效化和自动化.
1.3 建设的原则
1.3.1 建设原则
由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的
特点.因此,在进行项目建设的过程中,应该遵循以下原则:
可扩充性
根据实际的要求,系统可被方便地载减和灵活的扩展,使系统能适应变化和新情况.可以
实现模块级别的动态扩展,而且是运行时的.所谓运行时模块的动态扩展,比如说你需要增
加一些新的功能,你可以将新开发的类和文件按照 Bundle 进行组织,然后直接扔到运行时环
境下,这些功能就可以用了.因此系统不会受技术改造而重新做出调整。
创新性
软件的投资要考虑到今后的发展,不能使用落后的产品与技术,避免投资的浪费;在
系统软件选型、开发技术上,达到国内外先进水平。
规范性和标准性
整个设计方案从网络协议、操作系统到各个设计细节,应该全部遵循通用的国际或行业
标准,符合国家有关标准规范的。
低耦合性
采集系统与其它系统彼此间相对独立,直接进行数据库入库、sql 同步或者基于 txt/xml
的数据交换,保证整体系统的低耦合性。
高效性
在底层的技术实现上采用 java 语言,跨平台,跨数据库,运行效率卓越。
安全、稳定、准确、及时性
采用先进的算法,采用多个子系统和工具组成一个安全、稳定、准确、及时的解决方案。
方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则,从而使整个方案组成合理,
技术先进,易于扩展,既能满足当前的业务数据处理要求,又能符合长期发展的需要。
剩余62页未读,继续阅读
智慧安全方案
- 粉丝: 3676
- 资源: 59万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0