电信企业数据域系统集约化运营探索论文

2017-03-17

电信企业数据域系统集约化运营探索全文如下：

一、引言

随着电信企业数据域系统的不断建设和完善，企业数据的不断汇聚，数据的储备和数据应用范围不断扩大。如何发挥数据价值，构建智慧型企业，在去电信化过程中，适应市场化变革，实现差异化经营，离不开“快、精、准”的数据服务支撑，数据已逐渐成为中国电信最重要的战略资源。企业数据应用范围越来越广，数据应用领域越来越专业化。在数据应用域，在建的系统也越来越多，越来越突出应用的专业化。对系统的运营维护提出的更高的要求，对维护人员水平提出高标准。如何在人员保持不增长情况下，提升系统的维护支撑水平。只有采取集约化的运营维护模式，紧紧抓住“数据”这个主线，持续优化，才能提升维护水平。

二、数据域系统在电信企业信息化系统定位及架构

在中国电信的CTG_MBOSS规范中，将信息系统划分为管理支持系统(MSS)、业务支撑系统(BSS)、运营支撑系统(OSS)及企业数据架构(EDA)四大域系统。企业数据仓储(ODS)和企业数据仓库(EDW)属于数据架构(EDA)域的系统。数据架构(EDA)域的系统主要实现的目标是从业务生产系统中(MBOSS域中)抽取相关的数据进行整合、清洗、汇总加工等处理。企业数据仓储ODS主要实现企业数据整合，提供数据共享和准实时数据同步和监控。企业数据仓库EDW主要面向分析型应用，提供企业经营分析和营销决策支撑两方面功能。

根据应用主题，形成企业有关的市场经营统一数据平台，通过报表查询、多维展示等方式提供给数据分析用户和营销决策人员; 而另一方面，数据仓库经过分析或挖掘，将发掘的客户异常消费、流失客户预警、营销活动目标客户等信息反馈到各客户接触系统，供营销经理、营业员、客服人员对相应客户提供针对性营销和服务企业。

三、数据域系统的集约化运营探索

广西电信IT运营中心根据数据应用专业特点，从组织架构、制度保障、技术创新上对数据仓库集约化运营进行了探索，实现数据应用专业(EDA域)人员结构调整，完善运维维护团队的组织架构，对系统基础架构重点优化，对生产运营中存在的硬骨头问题进行重点突破和攻关，重点解决运营中的难点问题以点带面实现整体提升。

具体做法包括：

3.1组织架构调整

调整人员结构，以数据流向为主线，把运营维护团队人员纵向划分为数据维护人员和数据应用人员，实现运营支撑和应用支撑专业集约化运营。

随着企业信息化队伍的整体调整，集约化运营的要求。企业数据运营支撑队伍人数下降，数据专业的运营维护工作有增无减，要求更高。如何完成目前的支撑工作。变革势在必行。为了能更好的适应形式发展需求，打破原来的按数据专业(EDA域)内各系统横向分工模式(EDA域内ODS/EDW/企业数据门户系统、渠道系统、针对性营销系统等各自负责各自系统)，以数据流向为主线，把运营维护团队人员纵向划分为数据维护人员和数据应用人员(EDA域内不在按系统来划分，按维护和应用来划分)。

数据运营维护人员，负责基础的数据平台ODS和EDW系统，负责数据在EDA域中从汇聚采集到处理加工、数据存储数据发布的全流程运营维护。数据运营维护人员，负责数据应用层面的统筹管理，数据业务层面的指标统计口径审核统一归档和实施，数据质量稽核等。通过人员职责的调整，实现了数据运营和数据应用的统一集约化运营，解决了原来按系统划分职责时的数据维护不连贯耗费维护人力，数据指标口径各系统不统一等问题。数据专业(EDA域)数据的采集整合加工处理是按系统串行的，数据先由ODS系统采集初步数据处理后，流到EDW系统或其他的应用系统中。这种串行的特点，运营维护，更适合按职能来划分人员的职责而不是按系统来划分。这样按数据维护和数据应用职能来分人员职责，更体现出EDA数据专业的特点。

系统维护建设中，流程更优效率更高。比如：原来一个系统故障或一个新的需求需要从源系统采集新数据，数据需要从源系统到ODS系统在到EDW系统在到企业数据门户展现，需要3个不同系统的维护人员参与处理。现在只需要1个数据维护人员参与处理即可，提高的维护效率和降低了维护人力。同时更是创新性的将EDA的数据维护人员嵌入到CRM专业中，承接CRM系统与EDA系统接口的数据维护工作，极大的提高了EDA系统与外系统的接口维护质量。降低了接口的维护成本。

3.2制度保障

在组织架构调整基础上，完善管理制度，强调内部沟通协调，依靠外部协作，逐步完善生产制度，作业计划细化到小时。

在完成相应的人员调整后，需要对现有的管理制度，运营流程生产制度作业计划等进行相应的调整和进一步完善。从数据生产全流程考虑，重新梳理生产流程的各个环节，融合原来各系统的生产作业计划，制定数据全流程的生产作业计划。明确输入输出的确认工作，方便实现各系统的衔接。完善各系统间的故障处理流程，完善内部的沟通确认机制。完善生产管理制度，进一步强人员责任以及运营维护工作纪律。逐步实现维护的流程标准化。依靠外部协作，做好外系统的数据接口完善各类文档，并加强与外系统数据源的沟通协作，完善沟通机制，完善数据源的监控告警，及时督促外系统进行数据质量的整改。

按照全流程的数据生产过程来编制作业计划，按照数据生产的要求细化到每日的小时，逐步实现的维护工作标准化，来提升的我们数据生产的维护质量。同时进行事后总结评估来不断的优化我们的作业计划和维护工作。进一部强调了，版本发布的审核测试流程，标准化了审核的步骤，加强的性能方面的技术层面审核。制定严格的准入标准，从准入方面控制版本质量，来实现系统稳定和优化，来提升我们的维护质量。 3.3技术优化创新

围绕数据支撑的“快、精、准”，逐步在技术上进行提升，进行数据库底层优化、抽取转换加载(etl)功能优化、库表优化。来提升维护支撑水平。

通过进行各类优化提升工作，数据分层优化，基本架构提升，运维重点难点问题的攻关和击破。

(1)数据分层优化，着眼于全局，将原来各系统割裂的数据分层，数据存储，统筹考虑分析。

优化EDA域类的数据分层架构。从数据库底层优化分析，提升数据处理效率。

(2)优化数据处理流程，减少冗余数据的分散处理，冗余存储。

梳理核心数据，进行数据相关的冗余字段，指标清理。调整各系统的数据融合，按照集团规范优化分层架构。分析完成日报数据月报生产的不合理数据流程。完成基本架构提升，优化了ETL 调度系统平台的性能。增加了ETL调度平台的集群数量增置3个。大大的提供的ETL的并行处理效率。解决了在月生产之初，大并发量瓶颈导致的延误生产情况，提高了维护的便利性和简单性。

(3)对重点难点问题的攻关和击破，特别是企业数据门户日监控报表数据的优化。

企业数据门户日监控报表是领导特别关注的报表，日监控报表的整合处理任务，每月月初的时候都会因为任务卡死而导致报表延迟，但确无法确诊是平台问题、数据库问题还是应用系统问题。故障发生时有如下特点：在凌晨的时候发生，不容易发现和处理;故障无法重现，只能等月初月末时发生;故障发生影响大，门户日监控报表无法展示，领导感知差。因为影响到领导看数，对EDA域影响非常大。为确保稳定，曾经还一度采用人海战术，通过值班人员的通宵达旦的值守监控来确保报表及时展示。但收效甚微，问题未得到有效解决。经过长时间的观察分析，并协调应用系统、数据库系统、平台系统专家进行综合研究，最后经过多次的故障重现后跟踪分析，最综定位到此问题是由于应用程序的BUG导致。经过整改后，困扰过一段时间的问题得到了根本解决，每日早上数据展示及时。

四、实施后效果

实施企业数据应用集约化运营与提升后，实现了人员的减员增效，在维护人员不增反减的情况下，完成了EDA域各系统的运营维护工作。优化了数据支撑维护流程，并进行了大量的优化，EDA域系统有较大的提升。特别是企业数据门户的稳定性及时性得到很大的提升。

数据基础管理数据应用方面：统一了数据基础管理，一点管理统一建模统一编码。形成了企业数据的统一视图。通过统一的组织统筹数据应用，极大的提升了数据的应用的质量。

数据运营维护方面：通过人员组织调整，优化职责分工，实现数据全流程全生命周期的运营生产管理和数据质量统一管理和控制，提高了数据运营维护效率以及系统维护保障质量。加强和完善了数据运营维护体系建设，保障全生命周期的数据质量。通过对系统的全面优化提升完善系统的不足，加强对系统的自动化的监控手段，夯实数据平台系统基础，提升系统的健壮性降低系统故障发生率，整体提升维护数据运营维护的水平。

五、结束语

后续将进一步的完善数据稽核告警功能，进一步提升数据质量。提升系统的健壮性，完善自动稽核功能，逐步提供系统运营的自动化水平，逐步的解放运营人员的压力降低运维人员的投入，从数据生产向数据应用的进行转变。