基于SSH的电信数据采集与整合毕业论文.doc

基于 SSH 的电信数据采集与整合

序 言

本课题采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS” 该系统是一

个典型的基于Unix平台、Mysql数据库、Web界面，以Java语言实现的大型软件项目，是

为电信运营的IP计费服务的。该系统运行于Tomcat平台,采用JavaEE架构、Struts框架，

Hibernate、Spring技术及Mysql数据库，并成功运行于Sun Solaris UNIX及Windows2000

环境下。该系统主要分为用户自服务管理模块，管理员管理模块，用户管理等模块，资

费模块，帐单和帐务模块以及数据采集与整合模块。本论文主要阐述的是该系统下的两

何将采集到的有效数据封装成我们需要的结构并输出到网络另一端，由接收端将数据插

入到数据库中，如何在数据库中进行周期整合，产生系统所需要的各个表。指导这些问

题解决的思想就是文件读写、socket 编程和 UNIX 下的作业操作。

在设计中主要用到的语言以及技术主要是 Java、jdbc。之所以选择这些语言及技术，

一方面是因为在电信运营支撑系统中，安全性有着很关键的作用，安全性直接影响着整

个系统的使用，另一方面是在 Java 语言中，已经存在对日志文件读取的各种方法，可

以很方便的实现采集。考虑到数据采集与整合的这些诸多特点，所以在做该子系统时选

择了 Java、jdbc 等语言和技术。

第 1 章 概述

1.1 课题的背景及意义

了本系统。系统只针对电信运营商出租的实验室，即服务器。

《基于 SSH 电信系统》是利用 J2EE 平台下的 WEB 技术设计和运行。通过读取服务

器日志文件采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装

了 JDBC 的 Hibernate 框架,数据库采用 Mysql,利用 Struts 框架作为控制器,页面显示

采用 JSP 技术,并且用 Spring 框架整合 Hibernate、Struts,完成企业级应用。

1.2 课题内容及目标

基于 SSH 的电信系统的后台数据服务模块分为数据采集和数据整合模块。数据采集

模块负责读取数据服务器日志文件，并进行过滤，将符合要求的数据存入数据库；数据

整合端负责将数据库中的原数据按年、月、日进行数据整合，并将整合后的数据存入数

据库中。

第 2 章 系统分析和设计

随着网络的不断发展，网络几乎进入了家家户户。查资料需要网络，看新闻需要

网络，看电影需要网络，买东西也需要网络，网络给人们带来的方便无处不在，人们需

要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段，要想上

网就必须向网络运营商申请代理服务器，随之而产生的问题就是计费和管理问题。另一

方面为了让用户更放心的使用网络运营商的代理服务器，让用户随时可以查询自己的信

息及使用情况，方便网络运营商管理一系列的复杂事物，以及处理大量的数据，我们设

计了本系统。系统只针对电信运营商出租的实验室，即服务器。

《基于 ssh 的电信计费系统》是利用 J2EE 平台下的 WEB 技术设计和运行.通过采集

数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装了 JDBC 的

Hibernate 框架,数据库采用 Oracle,利用 Struts 框架作为控制器,页面显示采用 JSP

采集模块每小时执行一次，从日志文件中循环读取数据，过滤掉不符合要求的数据，

采集符合要求的数据并将数据封装成 bIDR 结构发送到中央服务器端。整合模块根据采

集到的数据进行整合并插入到各个表中，每小时执行一次。

2.3 需求分析：

各模块功能：

资费管理：增、删、改、查资费信息(指定价格)

管理员管理：增、删、改、查管理员信息

用户管理：增、删、改、查用户信息(开通帐号,修改自身信息和需求)

帐单查询：按月生成用户月计费帐单

按月合并月表 t_month_X 生成所有用户计费数据年表 t_year_X;

按小时合并清单表 t_detail_X 生成所有 Lab_IP 数据日表 t_day;

按天合并日表 t_day 生成所有 Lab_ip 数据月表 t_month;

按月合并月表 t_month 生成所有 Lab_ip 数据年表 t_year;

用户开通管理：管理用户登陆 Open Lab 的帐号，包括帐号开通、暂停（加锁）、恢复、

用户资料管理：管理用户资料，包括姓名（单位）、身份证号码、住址及资费信息等。

用户信息：ID，姓名、帐务帐号/密码、Open Lab 帐号/密码、状态（正常/暂停/关闭）、

行）、证件号码、职业（学生/IT 从业人员/非 IT 从业人员）、国籍（中国/美国/加拿大/

日本/英国/澳大利亚/其他）、性别（男/女）、单位、联系地址、邮政编码。

注意：本系统一个用户对应一个帐务帐号，可以对应多个 Open Lab 帐号。

2、管理员管理需求：

注意：一个用户对应一个帐号。

3、帐单管理需求：

整合系统按月生成用户月帐单。

帐单信息 用户标识信息：帐单 ID，姓名、帐号、状态（正常/暂停/关闭）、联系电话、

Email、开通日期.

帐务信息：帐号、日期、登录时长、本月费用

帐单明细：登录时间 退出时间 时长

4、帐务管理需求：

按月、年分别生成《月帐务信息统计报表》和《年帐务信息统计报表》。

月帐务信息

生成一个计费月周期中，每一天的帐务信息。

月帐务信息：日期 时长 费用

年帐务信息：月份 时长 费用

5、资费管理需求：

理员通过登录系统可以根据公司运营情况来向其中增、删、改资费信息。

资费信息：资费 ID，资费名称，月租，使用费，描述

6、采集模块需求：

所需系统文件：计费 Log 文件

数据库表 资料信息表：用户信息、管理员信息、资费信息、URL 信息

7、整合模块需求：

产生数据库表：服务器被使用量的日表、月表、年表

业务模型：

信息经过加工处理生成系统所需数据持久化在数据库中，供管理和查询，如下图:

2.4 系统概要设计

所有用户的消费记录采集并且整理出来，然后插入到数据库中。从功能上讲，该系统共

分为三个模块，分别是采集模块，入库模块和网络模块。从部署运行方面讲该采集系统