论数据采集工具现实状况、问题、处理方案和展望
一、数据采集工具现实状况和存在问题
数据采集工具发展经过了两代产品。
第一代数据采集工具关键是依据财务软件使用数据库,直接拷贝财务软件数据库文件。
比如:用友 U811 版本软件后台数据库采取 ACCESS,直接拷贝相关 UFDATA.MDB 文件。
用友 U852 版本软件后台数据库采取 SQLSERVER,能够有三种采集方法:第一、经过 ODBC
或 OLE DB 等方法直连 SQLSERVER 数据库,把数据下来生成第三方文件格式,比如
ACCESS 或文本文件等。第二、在 SQLSERVER 企业管理器或查询分析器中直接备份需要
数据库,生成 SQLSERVER 数据库备份文件*.BAK,然后直接拷贝该文件。第三、直接找
到 SQLSERVER 物理文件*.MDF,拷贝对应文件。这一代采集工具通常为通用型数据采集
工具,比如:文件型数据查找拷贝工具、SQLSERVER 采集工具、ORACLE 采集工具等。
这一代工含有其优点:第一、工具简练,依据常见数据库类型做相关工具;第二、采集数据
比较完整,基础上是整个数据库全部照搬,属于数据库级。 不过也有显著不足:第一,需
要有相关数据库基础知识,比如 ODBC 数据源配置、WINDOWS 认证或 SQLSERVER 混合
认证方法。其次,采集数据位全部数据,其中有很多数据没有用,假如碰到尤其大数据时,
采集时间很长,而且占用很大硬盘空间。第三,直接拿到数据库备份,需要有该数据库环境
才能恢复进去,这些需要有相关数据库操作经验人员才能掌握。第四、采集工具分散,不能
集成在一起使用。所以,第一代数据采集工具在应用方面不足,催生了第二代采数工具产生。
第二代数据采集工具充足利用了财务软件系统本身后台数据库资源,经过直接连接后
台数据库,采集需要用到数据表,并经过数据转换算法把数据导出到设计了固定表结构第三
方文件中。比如:使用工具采集金蝶 K3 数据,经过填写连接 SQLSERVER 数据库参数,金
蝶 K3 服务器 IP、用户名 SA、SA 密码,直接连接到金蝶 K3 数据库,然后关联相关数据表
t_Account、t_Balance、t_Voucher、t_VoucherEntry 进行查询输出成固定结构数据 kmk 科目
库、kmye 年初数库、pzk 凭证库。第二代工含有其优点:第一、以财务软件为单位,每种
财务软件做一个接口,针对性强;采集工具集成度高,把多种财务软件接口全部集成在一个
数据采集工具上,方便维护和使用;第二、采集数据属于字段级,仅采集需要数据表中一些
字段,采集后数据很小;第三、直连数据方法,能够充足利用数据库环境资源,高效且省资