国际互联网数据抓取系统和数据库存储系统介绍
李锋(1) 陶兰(2)
(1)中国农业大学信息与电气工程学院 100083
E-MAIL: li_feng@cau.edu.cn, longyard@sina.com
博士研究生，研究方向：网格计算，网络安全
(2)深圳大学信息工程学院，518060
Faculty Information Engineering Shenzhen University, Shenzhen 518060, China
E-MAIL: taolan@szu.edu.cn, taolancn@sina.com
教授，博士生导师，研究方向：网格计算，语义 web，生物信息学
国际互联网数据抓取系统和数据库存储系统是集互联网信息的抓取采集、分类处理、数
据库存储以及数据查询浏览、统计分析和管理维护等功能于一体的信息管理系统。
1．系统综述
国际互联网数据抓取系统和数据库存储系统可实现快速高效地从互联网上抓取指定数据
到本地，对互联网上的多种数据类型包括静态网页，动态网页，论坛和聊天室数据，流媒体
数据和视频、音频同步屏幕录像等数据都可进行识别和抓取以及建立网站镜像。并且能够根
据用户的需求，对抓取到的各类数据进行分类和整理，并存储到数据库中。同时，系统可建
立强大的索引，统计和管理机制，利用数据库全文检索、数据分析等核心技术和数据库存储
和管理功能，把复杂、海量的数据有效地结合和充分利用起来，提供各种数据统计分析和查
询浏览功能，并可实现对数据进行管理、备份等维护功能。
2．系统总体结构和功能模块
国际互联网数据抓取系统和数据库存储系统采用 C/S 工作方式。Server 端软件运行在
70
