基于数据仓库技术的保险业统计分析系统设计论文

2017-03-20

基于数据仓库技术的保险业统计分析系统设计全文如下：

摘要：通过分析保险行业的核心业务，采用数据仓库技术，对保险企业中的海量历史数据进行集成和统计分析，得到精确的业务运行分析报告，对业务及客户进行趋势分析，以便及时作出正确决策并根据自身需要监测业务运营。

关键词：数据仓库;保险业;ETL;多维数据;统计分析

1 数据仓库简介

数据仓库(Data Warehouse，DW)是随着关系数据库、并行处理和分布式技术的飞速发展而产生的[1]， W?H?Inmon出版了《Building the Data Warehouse》一书，给出了数据仓库的定义：数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合[2]。数据仓库包含的是整个企业视图的粒度化数据。

数据仓库系统通常对多个异构数据源有效集成，集成后按照主题进行重组[3]。存放在数据仓库中的数据通常不再修改，用作进一步的分析型数据处理。

数据仓库系统的建立和开发以企事业单位的现有业务系统和大量业务数据的积累为基础 [4]，其开发是一个循环迭代过程，通常需要企业有一定的业务数据积累，开发人员将这些历史数据通过ETL输入到数据仓库中，进行分析和统计，以建立决策支持辅助系统，为企事业单位管理者提供决策支持。

2 保险业需求分析

随着保险业发展及保险市场竞争的加剧，保险公司在管理和运营方面面临着更高的要求，来自监管、竞争、技术更新及全球化等各方面的压力不断考验着保险企业。保险业发展的核心动力表现在以下几个方面：①进入新分市场及提高业务质量;②巩固客户忠诚度，适应客户多变的需求;③高效的运营;④精确的风险及成本控制;⑤消除各种技术壁垒。

要做到上述目标并不容易。对高层管理者来说，由于统计口径的关系，很难获取一致性数据进行比对，很难及时监控到业务状况，不能有效地进行决策支持。对于业务部门主管与业务分析员，所需报表难以及时获取，即使取得的数据也难用于多视角、全方位地分析业务问题。对于IT部门来说，要不断帮助业务部门制作报表，时间相对较长，而且开发的报表越多，特别是分析型的报表越多，业务系统性能越受影响。

以某人寿保险有限公司为例，该公司的数据支持情况如下：

(1)保单管理系统中大致有50张左右的报表在运行，但随着公司业务的发展，数据分析及用于日常管理的制式报表与日俱增，报表数量将很快无法满足业务发展需求。

(2)各业务管理部门有各自的制式报表及统计需求，但在将数据汇总时，时常出现因统计时点不同、指标定义的理解差异等原因造成数据不一致，导致额外的数据校验工作。

(3)当前报表的IT实现基本上是按照单个报表需求来设计的，造成IT设计无法复用，报表开发缺乏整体规划，呈一种临时性状态，随着报表及统计需求的增加，IT相应的工作将与日俱增。

(4)因当前报表及数据统计都在保单管理系统中运行，随着需求数量的增加，保单管理系统将面临沉重的夜间批处理压力并严重影响日间日常业务操作的效率及稳定性。

针对上述系统现状，在建设中决定采用数据建模、ETL、数据分析以及数据展现等技术，实现风险管控分析、客户服务分析、客户维持分析、市场销售分析、综合分析和综合管理6大功能，达到以下目标：①代替原有手工报表方式，为业务人员节省时间;②提供精细的分析数据。业绩分析可以从营业部，钻取到营业组，甚至每个FC(理财顾问)，保全分析可以分析每种保全项目的明细;③统一的分析口径。各部门统计指标，可以在统一的时间点上进行公司级汇总;名称一致的统计口径，可以唯一定义一种统计方式;④唯一的报表平台。从报表需求获取到报表需求分析以及最后的实现都在一个体系下完成，公司数据分析工作逐步系统化和实用化。

3 系统设计

统计分析系统采用灵活架构，在构建一个统一、稳定的企业级数据仓库基础上，分步构建各个独立的分析应用数据集市，满足灵活性、扩展性要求，系统架构如图1所示。

保险数据仓库是一个中央的知识数据库，包含来自寿险系统、团险系统、短期险系统和电话销售系统等源系统的源数据，数据模型分为3层：

(1)数据准备层(Staging Layer)：采用同源系统相似的数据结构存储源系统的每日增量数据。

(2)保险企业模型层(Insurance Enterprise Models Layer)：作为保险数据仓库的核心，相应的保险企业模型部署在该层。根据保险行业的业务视图，保险企业模型分为10个主题，根据保险信息的特性而非事务处理的目的来设计，企业级上所有保险业务信息根据历史版本进行记录。在数据准备层通过ETL(数据抽取转换装载程序)进行数据批处理，采用增量机制装载进入保险企业模型。

(3)分析数据模型层(Analysis Data Models Layer)：各种各样的数据分析需求归类到不同的数据集市，如市场及销售数据集市、运营效能数据集市、风险管控数据集市等。分析数据模型即为满足数据集市需求而采用维度建模方法特别设计的模型。分析数据模型从保险企业模型衍生而来，数据通过ETL 批处理，采用增量机制装载进入保险企业模型。

ETL采用增量机制，每日从源系统抽取变更数据至Staging层，接着将Staging层数据转换至企业模型和分析模型。在ETL批处理完成后，系统运行报表批处理生成报表并发布到相应的报表文件服务器上。

OLAP元数据管理工具：提供OLAP 元数据管理工具，用于管理所有OLAP 业务元数据，包括指标定义、维度层次定义、指标与维度的关系及分析需求。通过使用这个工具可帮助保险企业统一KPI 定义及促进企业标准化管理，同时其管理的内容可作为统计分析系统所支持的知识库来使用。 OLAP平台：选择微软的SQL Server 2008作为OLAP平台。OLAP 工具支持分析的类型包括管理仪表盘、平衡记分卡、制式化管理报表、临时查询、数据挖掘等。

4 系统实现

4.1 ETL实现

ETL采用SQL Server集成服务来实现。Microsoft Integration Services 是一个可以生成高性能数据集成解决方案(包括为数据仓库提取、转换和加载ETL包)的平台。Integration Services包括生成和调式包的图形工具和向导;执行工作流函数操作和执行SQL脚本等任务;提取和加载数据的数据源和目标;清除、聚合、合并和复制数据的转换;管理包执行和存储的管理服务，即Integration Services;用于Integration Services对象模型编程的应用程序编程接口(API)。

4.2 多维数据实现

创建报表之前，需要通过SQL Server分析创建多维数据模型。之所以使用SQL Server分析服务创建多维模型，主要是为了实现对业务数据的即席查询。系统开发人员创建多维数据集以支持快速响应，并提供单个数据源以进行业务报告。商业智能的重要性不断提高，使用单一的分析数据源可确保将差异减到最小(如果无法完全消除差异)。

4.3 报表系统实现

报表系统实现使用了SQL Server报表服务，报表服务包含一整套管理报表的工具。报表工具在微软的开发环境中工作，并与SQL Server无缝衔接。通过报表服务，可以从多种不同的数据源创建各种不同样式的报表。

5 应用效果

该系统目前已经在某人寿保险有限公司正式投入使用，结果显示，该系统使业务数据的分析效率、分析能力大大提高，在一定程度上简化了业务人员数据统计工作，对公司决策支持起到很大的帮助作用，系统良好的应用价值体现在以下几个方面：

①数据集成。数据仓库能够把来自多个不同子系统的数据进行有效集成，提供统一的、一站式的业务报表系统;

②查询灵活方便。统计分析系统能够根据不同的需求进行条件过滤，并支持数据向上向下钻取，数据查询方式更加灵活，追溯更加简单直接，为业务分析人员提供了很大的便利;

③安全性高。为了保证数据的安全性和可靠性，对数据仓库中的数据实行统一管理;

④降低成本。统计分析系统的建立，可以代替原来的手工汇总操作，一次创建，只需要进行简单的维护就可长期使用。

6 结语

本系统开发及系统运行工作得到如下经验及启示：

(1)理念的转变。在数据分析上，需要从清单和简单汇总上升到数据分析，从单个部门分析到全局分析，从数据库到数据仓库进行分析设计。

(2)平台统一管理要求。在报表的管理上，一个统一的部门管理面向高管的报表，制定统一的口径;对没有报表的部门需要严格确认数据准确性;对有报表的部门，不要局限于当前的数据逻辑。

(3)系统扩展。报表需要不断扩展和改进，不断提高深度和广度，收集更多数据，提供更多报表;提升界面功能，精确授权，自动分发报表;提升可用性，全面取代现有的其它报表系统;从明细数据到统计数据，进而分析数据，最终实现商业智能、数据挖掘的目标。