整合的关健――数据的整合

王敬峰　葛静

      经过二十几年的发展，我国税收信息化建设已经进入“集成阶段” ，需要进行系统集成、系统整合。系统整合是一项复杂的、耗时长的系统工程。为了给系统整合创造良好的基础，也为了解决当前基层应用中的迫切需求，应先进行数据整合。

一、数据整合需求分析

　　税收信息化发展到今天，取得了巨大的成就，但也出现了几个比较明显的问题，“数据孤岛”就是其中之一，它已经严重制约了信息化的进一步发展，影响了税收管理服务水平的提高。大家能够感觉到问题的主要有以下几个方面：1、不同的应用软件之间数据不能互相调用，无法形成数据之间逻辑正确性校验，跨系统业务监控严重不足；2、软件功能交叉、重复，数据多头重复采集，一致性差；3、实时数据查询不能展现在一个界面上，用户很难看到数据全貌；4、无法建设税收管理辅助决策支持系统；5、纳税评估、稽查选案很难实现计算机软件完成；6、无法构建完整、系统的纳税人服务体系，提高服务质量；7、上下级之间不能共享数据资源。
　　从表面上，形成“数据孤岛”的原因看是“系统林立、各自为政、自成体系”，再深究应是在信息化建设初期总体规划不够（这也无可厚非，任何事物的发展总是螺旋式上升的），从技术的角度讲是由应用系统软件的开发环境不同、数据库管理系统不同、数据结构不同、代码结构不同和业务指标口径不一等造成的。

二、数据整合的含义
　　

      由上面分析可知，形成“数据孤岛”及其带来问题的主要本质在数据库管理系统层面，如异构数据库、数据结构差异和数据含义不同等。数据整合就是通过数据转译和通讯，解决异构数据库的共享、使数据结构和数据含义统一等，消除“数据孤岛”，实现数据的全方位共享。数据整合可以分为横向数据整合和纵向数据整合。
　　横向数据整合就是同一管理层级的数据整合，主要是为了解决问题1-6。大家知道，很多税务应用系统都是地市级集中，数据也基本集中在地市一级。地市作为数据管理的一个层级，是对数据共享、提高税收管理水平要求最强烈的，在这一层级的整合是横向数据整合的重点。比如“一窗式”、“一户式”应用就是横向数据整合的例子，很好地解决了基层的一些业务需求。
　　纵向数据整合主要是为了解决上下级之间数据资源的共享问题。

三、数据整合技术
　　

      本文认为，可以应用数据集成平台进行问题1（不同的应用软件之间不能互相调用数据）、问题2（软件功能交叉、重复，数据多头重复采集，一致性差）、问题3（数据查询不能展现在一个界面上）和问题7（上下级之间不能共享数据资源）等要求实时数据共享一类问题的数据整合；问题4（无法建设税收管理辅助决策支持系统）、问题5（纳税评估、稽查选案很难实现由计算机软件完成）和问题６（无法构建完整、系统的纳税人服务体系）等需要海量数据分析、基本是新建系统的情况，可以应用数据仓库技术进行数据整合。
１、数据集成平台。
　　数据集成平台由应用层之间的集成和数据层集成组成。
　　①应用层之间通信集成是由消息中间件平台通过连接器(Connector)连接税务内部的不同应用系统；通过B2Bi（企业与企业之间的集成）建立税务部门与其他部门、上下级之间不同系统的连接，实现数据和业务的集成。
●消息中间件是税务整合信息的总线，实现不同应用系统之间的松散耦合。它为所集成的系统提供了强有力的消息传送服务，提供多类消息通信方式，如请求/应答，发布/订阅等，支持一对一、一对多以及多对多的通信。消息中间件具有如下特点：
 确保数据传输（Guaranteed Delivery）,保证无数据丢失，并保证消息“一次且仅一次”的消费；
 同时支持同步通信和异步通信，同步数据通信传输效率高，系统间的耦合性较强；异步通信，支持并发数据传输，系统间的耦合度较弱；
 数据传输或处理的事务性支持，保证数据的一致性和完整性；
 支持集群服务（Clustering），负载均衡(Load Balancing)和系统容错 (Fault Tolerance)。
●连接器支持目前主流的技术和开放的标准规范，如CORBA接口、J2EE接口、WEB SERVICE接口、J2EE系列规范、XML系列规范等。
　　　　　●B2Bi服务内容包括通讯和连接、数据交换伙伴管理、Web Services管理、安全性、登录，以及系统管理，支持AS2，ebXML和Rosettanet等协议。通过Web Services、数据交换伙伴的服务器、以及网络接口等多种多样的连接，预制的、庞大且日益丰富的EDI、XML和其他B2B词汇转换程序库，使安全、可靠、可扩展，并确保“一次，且仅一次”穿越防火墙的数据交换完整。
　　②数据层集成：数据层次的集成通过业务词汇管理(BVM，Business Vocabulary Management)进行不同数据之间语法的转换和不同词汇的语义转换, 解决由于历史原因造成的不同应用系统数据库系统异构、数据格式和接口不同等问题。 BVM支持EDI、SWIFT、ebXML等等行业规范，BVM可以大大缩短集成项目中数据集成的开发周期。
　　传统的EAI项目在处理数据层次整合问题上,多采用硬编码、点对点方式的开发方法，业务逻辑的处理与数据传输处理的代码紧密耦合, 开发费时、难以管理，而且改动时相当复杂，花费昂贵。这种做法也难于有效地处理为数不少的异常事例。BVM通过可扩展的、灵活的途径来实现业务词汇间的转译和映射，利用xml元数据功能使得税收数据智能化，实现无缝隙自动化词汇间的转换。不需编程知识即可定义、优化和管理复杂的数据翻译和转换工作，实现快速灵活的集成解决方案，也降低了系统以后维护的成本。同时BVM还提供数据转换处理的异常管理，如强化数据格式和内容的相关业务规定；自动修正错误，或是自动将异常按模型定义的路径输出等。
　BVM主要包含语义验证和语法验证：
　　●语义验证（Semantic validation），以业务规则为基础，实现快捷、可扩展的数据异常处理。
　　●语法验证（Syntactic validation），提高数据的完整性和数据格式的正确性。
２、数据仓库技术
　　数据仓库是人们为了弥补联机事务处理系统在分析海量数据方面存在的缺陷，发展联机分析处理系统而设计的，是面向主题的、集成的、稳定的、不同时间的数据集合，它用于支持组织的决策分析处理，它所要研究和解决的问题就是从数据中获取信息。
　　如图所示（数据仓库系统结构简图），首先，数据仓库内数据来源于各种数据源，包括各种异构数据库系统、数据文件数据以及其他数据等，利用数据抽取工具，通过数据抽取、清洗、转换、装载等过程，按照不同的业务主题，即不同的分析需求，装载到数据仓库中，实现集成存储，方便数据共享；然后，应用各种分析工具，比如检索查询工具、多维数据的OLAP（联机分析处理）工具、统计分析工具以及数据挖掘工具等，将分析结果以直观的图表形式展现在用户面前。这些分析工具具有很强的功能，比如数据挖掘工具借助人工智能和高级统计方法技术，运用聚类分析、神经网络、决策树等技术，从大量数据中提取隐含的、全面的和有用的信息，该信息可以揭示数据的不明显模式、趋势或规则；多维数据的OLAP分析工具，通过对多维数组采取切片、切块、钻取、旋转等各种分析动作，分析数据，使用户能从多个角度、多侧面地观察数据，从而深入理解数据中包含的信息。

四、数据整合需要注意的问题
　　

      １、确保数据的准确性、一致性和完整性。准确性是要求数据是正确的；一致性要求数据不能有互相抵触的部分，否则就不知道应该是将哪一部分数据看作正确的；完整性要求数据没有残缺不全的。缺少了这三性的数据我们一般称为“垃圾数据”，如果将“垃圾数据”整合，费力而无效果，不如不整合。
　　２、统筹规划，逐步实施。由于信息化建设初期缺少“自觉”地统一规划和部署，造成了“数据孤岛”，才需要数据整合，所以数据整合不能重蹈覆辙。数据整合是一项复杂的系统工程，涉及众多的应用系统、数据库管理系统、不同的数据结构、代码结构和业务指标口径，同时还涉及整合技术、整合软硬件环境的选择等，更需统一规划，逐步实施。