1数据仓库技术

1.1数据仓库产生背景

应用和技术的发展是相互作用的，一方面，现代社会的广泛电子化、数字化提供了前所未有的、有待加工和处理的原始数据。就一个企业而占，这些数据量大约五年就可以增加一倍，另外，数据的形式也突破了传统的数字和符号，包括原始商业文档、多种图形、图像数据等，故许多企业、部门并不是缺少数据，而是常常被过分重复和不一致的数据所困扰，从而越来越难以有效管理和存取这些数据，使之用于决策过程，这种局面自然导致一个强烈的要求，要求有一种系统能存取这些数据，并将它转换成一种可信赖的、有用的信息。另一方面，现代企业经常面临各种挑战，如何最大限度的挖掘各种有用信息，使企业在激烈的市场竞争中立于不败之地，并获得最大的商业利润，也为计算机信息处理技术提出了新的要求。

由此导致了数据仓库技术的提出。数据仓库是计算机应用领域里的一个崭新方向，己成为90年代信息系统体系结构新的技术焦点，它是来自多个数据源的数据拷贝和集成，从历史的角度来组织和存储数据，同时保证关键任务数据的完整性和安全性，为企业发展提供有效的技术支持。

1.2数据仓库的基本概念

1998年刚刚发展起来的数据仓库（DataWarehouse）技术的概念由美国着名工程学家W.H.lnmon博士于90年代在《建立数据仓库》一防中提出：“数据仓库是一个面向主题的、集成的、包含历史数据的数据集合，它用于支持经营管理中的决策制定过程。”

数据仓库与传统的数据库系统相比有着本质的区别，数据库是一种通用平台，建立于严格的数学模刑之上，用来管理企业数据，进行事务处理，完成相关业务；而数据仓库没有严格的数据理沦，更偏向工程，它不是花钱就可购买的成品，而是企业一个日积月累的建立过程。它的应用对象是不同层次的管理者，它的数据源是多种数据源，库中数据无须修改删除，卞要是大规模查询和分析。数据仓库是来自多个源的数据的存储库，它可通过Internet将不同的数据库连接起来，并将数据全部或部分复制到一个数据存储中心。数据仓库倾向于一个逻辑的概念，它建立在一定数量的数据库之上，这些数据库在物理上是可以分开的，甚至可以属于不同的国家。数据仓库通过Internet扫破地域界限，将它们合成一个逻辑整体，把一个海量的数据库展现在用户面前。

1.3数据仓库基本体系结构

为了能够将已有的数据源提取出来，并组织成用于决策分析所需的综合数据的形式，一个数据仓库的基本体系结构中应有以卜几个基本组成部分：

（1）数据源。指为数据仓库提供最底层数据的运做数据库系统及外部数据。

（2）监视器。负责感知数据源发生的变化，并按数据仓库的需求提取数据。

（3）集成器。将从运做数据库中提取的数据经过转换、计算、综合等操作，井集成到数据仓库中。

（4）数据仓库。存储己经按企业级视图转换的数据，供分析处理用。根据不同的分析要求，数据按不同的综合程度存储。数据仓库中还应存储元数据，其中记录了数据的结构和数据仓库的任务变化，以支持数据仓库的开发和使用。

（5）客户应用。提供用户对数据仓库中的数据进行访问查询，并以直观的方法表示分析结果的工具。

图1是斯扣福大学“WHPS”课题组提出的一个基本的数据仓库模型。

图1数据仓库基本结构

2基于数据仓库的电信事业决策支持系统设计

2.1系统体系结构

在系统日常运做过程中积累了大量的计费系统数据和其它的一些文本数据，数据仓库首先从这些数据源中抽取相关的数据，进行数据集成、转换和综合，将数据重新组合成面向全局的数据视图，为DSS提供数据存储和组织的基础，解决了以往DSS中的数据不一致的问题。企业数据仓库包括大量的业务处理系统的操作细节数据和其它的综合数据，而在分析与决策中，人们所关心的大多是综合性数据，需要从综合性的、总的范围来观察数据。为此我们通过OLAP数据仓库使用技术，可以把数据在一定层次上聚集，方便用户的J陕速查询，以及从多维的角度对数据进行切片、切块、旋转等操作，进一步增加用户对数据的理解。此外，OLAP还可用于企业的报表分析，在日常的企业管理过程中，需要大量的报表，借助于OLAP工具可以便利的生成各种报表。

图2系统体系结构图

数据挖掘可以在企业数据仓库上直接进行，数据仓库为数据挖掘提供了集成的、一致的、经过清理的数据，使数据挖掘免除了繁杂的数据准各过程。数据挖掘也可在OLAP服务器平台上进行。在数据挖掘过程中，常常需要探测式的数据分析，从各种数据库选择相关数据，对各种数据选择不同的粒度，以不同的形式提供知识和结果，而基于数据仓库的OLAP完全可以为数据挖掘提供有关的数据操作支持。数据挖掘所得到的知识经决策者的审核后决定是否用于指导企业的决策。

2.2系统数据仓库设计

数据仓库通常以星形模刑或雪花刑模刑组织和存储数据，在这两种模式中，都具有一个核心事实表。事实表是根据选定的卞题构造，存储用于分析数据的度量值和各个维的值。维是用户观察分析数据的角度，如时间、地理等。在这两种模式中，维的层次、内容等信息保存在维表中，并通过事实表中相应维的码值与事实表相连。在本系统中采用星刑模刑,即以代表一定卞题的事实表和能表示概念层次的维表来建数据仓库。

以面向主题的原则分析电信系统，选取话务量、帐务、营业、企业话费收入及用户开户四个主题。以账务主题为例，其物理模刑如图3所示：

图3账务主题分析模型

其中账务事实表包括与各个维度表相关联的外键和分析数据的度量值，维度表包括出账日期维度表、客户年龄维度表、客户群信息维度表、客户所属地理维度表和客户付费方式维度表等。维度表的建立是为了从出账日期、客户年龄、客户群信息、客户所属地理和客户付费方式等角度分析花费和用户的相关情况。

2.3系统实现方案

此系统采用基于客户服务器的三层体系结构（如图4），前端客户群、中间应用层、后端的数据库服务层。前端客户端以Web浏览的形式负责处理和用户的信息交互；中间应用层支持大量应用程序功能和实施业务规则，这一层的业务服务可以通过将基于服务器的Microsoft产品与定制的COM构件运行环境集成在一块来实现，主要实现Web服务和通用的数据访问功能；后端数据库服务器存放并管理各种系统数据，封装对数据库的访问，是系统访问其它数据源的统一接口，OLAP和数据挖掘的应用，也通过这一层来访问数据库，它主要负责从业务处理源数据库中抽取、转换数据到数据仓库。元数据，是关于数据仓库的数据，是在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据，负责数据仓库中数据结构和业务规则的管理。

图4系统二层体系结构图

在实验中采用SQLServer2000作后台数据库服务器，以SQLServer2000的数据转换服务（DTS）从源数据库中抽取和转化数据，送到数据仓库中。在分析系统中采用MicrosoftSQLServerAnalysisServices，AnalysisServices是用于联机分析处理（OLAP）和数据挖掘的中间层服务器，将数据仓库中的数据组织成包含预先计算聚合数据的多维数据集，通过在多维结构中对数据仓库中的数据进行提取、汇总、组织和存储，可以对最终拥护查询做出快速响应。同时在DTS的任务里将会出现数据挖掘预测查询任务，实现决策支持系统的数据挖掘预测功能。应用端采用VB开发应用程序，以丰富数据挖掘功能和加强多维分析的可视化以及报表的制作。

2.4系统实现的决策功能

2.4.1电信数据的多维分析

电信数据本身具有多维性，如呼叫时间、持续时间、呼叫者位置、被呼叫者位置、呼叫类刑、客户信息等，对此类数据的多维分析有助于识别和比较数据通信情况，系统负载，资源使用，用户组行为，利润等。将电信数据组织成数据仓库有利于使用OLAP和可视化工具进行多维分析。

2.4.2电信数据的数据挖掘

数据挖掘可帮助识别涤用模式和异常模式，通过多维分析、聚类分析和孤立点分析可以发现涤用模式，进而采取相应措施应付这类模式。此外，多维分析中关联和序列模式的发现有助于推动电信服务的发展，通过改进服务增加用户满意度和忠诚度等。

3结束语

本系统采用数据仓库、OLAP和数据挖掘二者相结合的决策系统方案，从企业高度出发建立综合、稳定一致的数据仓库，和基于数据仓库的OLAP强大的多维分析相结合，并支持企业各种报表生成，同时在数据仓库和OLAP的便利平台上采用各类数据挖掘算法发现隐藏的知识以支持企业的深层次决策。这种决策支持系统解决方案具有通用性，可用于金融、零信业等领域。

随着各种计算机技术，如数据模型、数据库技术和应用开发技术的不断进步，数据仓库技术也在不断发展，并在实际应用中发挥巨大作用。（万方数据）