大数据能够改变什么
大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。一起来看看大数据能够改变什么吧!
1、大数据时代来了
随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度将比历史上的任何时期都要多,都要快。未来的十年将是一个“大数据”引领的智慧科技的时代。
时过年中,方凡对“幸福的烦恼”体会逾深。他是北京水晶石数字科技有限公司的CIO,重要的职责就是为这个庞大的“视觉展示制造器”提供源源不断的计算支持。公司自2008年北京奥运会一举成名后,包括上海世博会、深圳大运会和伦敦奥运会在内的大型订单相继而至,“生意最近好的不得了”,他也成为了公司最忙碌的人之一。
此时的水晶石正站在一个临界点上,营业额将由8亿元继续攀升,员工近3300人,经常要承接其他公司所无法拿下的大型订单。同时,一些新的业务模式也正被创造出来。比如,水晶石为万科、SOHO中国等房地产企业打造在线房产服务,顾客在网上浏览时,可以从各个角度考察房源,甚至可以自己动手进行DIY模拟装修。
在方凡看来,水晶石能够成为行业翘楚,多年来在大数据上积累的雄厚实力十分关键。视觉展示行业极度依赖数据,水晶石每年的数据量都要增长上百个PB,背后需要庞大的计算、存储和网络能力的支撑。简单一点来说,渲染一个大型的高清图像,别人需要100个小时,水晶石却可以调动3倍以上的计算资源和人员储备,在10个小时内完成。
“大数据融入企业越深,就越考验企业的投资和储备能力,企业的级别将立判高下。”方凡甚至表示,视觉展示行业已经进入一个为大数据不断烧钱的阶段。
麦肯锡全球研究院对这样的趋势做了专门研究,其发布的《大数据:创新、竞争和生产率提高的前沿领域》报告称,大数据将大幅提升传统行业的运营效率,并催生更多的新型业务应用和商业模式,而有效投资和利用大数据,已经成为了行业领军者的制胜法宝。
2、企业与大数据结缘
多年来,有关海量数据的讨论已让人审美疲劳,现在又提出大数据,究竟有何不同?是否有炒作的嫌疑?一个有趣的现象是,包括IBM、HP、Oracle、SAP等跨国IT巨头,咨询公司以及欧美企业对大数据的讨论趋于热烈,剔除其中的炒作成分,不乏有价值的技术解决方案和最佳实践,而多位国内CIO坦称也正在关注大数据。
有不少人正在尝试勾勒大数据的面貌,让其由模糊走向清晰。IDC全球存储及大数据研究项目副总裁一直在研究大数据,简单一点说,大数据不仅仅是海量数据,它更为复杂,更追求数据处理的速度,企业也更注重挖掘其中的价值。
华尔街老兵,投资公司创始人罗杰?依伦伯格最近也撰文畅谈所看到的大数据投资前景:“我们还处在这场由数据驱动的革命的初始阶段。现今,这些机遇已让人兴奋不已,未来,这些机遇所能带来的变革必将超乎我的想象。”
这些判断似乎都能自圆其说,但对于讲求实际效益的商业世界而言,大数据究竟能带来多大的改变?
作为中信银行信用卡中心数据仓库室项目总监,顾小波明显感觉到新的挑战正在来临。随着中信银行信用卡用户突破1100万,需要挖掘的数据量正在膨胀,传统利用SPSS统计分析软件建模的方式已经有些力不从心,而如果采用抽样统计分析的方式,有些新的用户行为特征或业务趋势就会被忽略。
更重要的是,随着银行信用卡竞争已经从初期“跑马圈地”进入精细化耕作的新阶段,用户使用行为的数据量增长已经快过新增用户的增速,原先宽松和粗犷的大笔投资已不可能,银行需要将更多的精力放在维护客户和挖掘客户价值上面,以获得更多的收益。
多年前,中信银行率先将信用卡用户分析数据应用于电话销售业务中,坐席人员不再是大海捞针式的忙碌,中信银行的电话保险业务购买率一年内就实现了30%的增长。现在,顾小波正推动信用卡数据仓库部门与更多的业务部门进行对接。
比如,现在中信银行的用户只需刷卡三笔,立刻就能享受到9元购买电影票的优惠。在以前,中信银行的核心业务系统在处理完当天的交易信息后,再过几天,才能被识别出满足促销条件的用户。
同时,顾小波还在对中信信用卡网站的用户使用行为进行分析,这些非结构化数据以前是被忽略的,现在中信已可以及时了解用户在哪一步放弃了哪项业务,从而改正网站业务设计中的不足。
中信银行信用卡部门在大数据中面临的挑战与机遇,几乎大部分的企业都会遇到,这也是大数据与以往所提的数据挖掘与商业智能的不同之处:一是数据量快速攀升,传统的数据挖掘工具已经无法应对全量分析的需求;二是对于数据处理速度的要求越来越高,更快的速度意味着更好的用户体验和更迅即的商业决策;三是非结构化数据的挑战日增,有效的收集和处理将带来更多的业务价值。
在支付宝,大数据正影响着公司从上到下的决策和业务运作。目前,通过利用“PC服务器集群+开源软件”、采用数据库软件等手段,支付宝每天可以对仅300亿条用户交易数据进行查询,结果可以在20毫秒内返回。
这带来了两大好处:一是可以有效控制风险,一旦用户在超乎常规的地点登陆,或者进行超过2000元以上的大额转账,支付宝会根据对用户使用行为的历史分析,进行主动的风险拦截;二是可以进行实时的营销业务推送,比如用户一旦购买了珠宝等高价商品,支付宝会立刻向其推送一个消费红包,马上就可以进行二次消费,以增强用户粘性。
蒋杰认为,做到这一切的秘诀在于支付宝正实现online与offline数据挖掘的融合,这使得商业智能已不仅仅是针对历史数据的分析和报表呈现,而是可以做一些针对大数据的实时处理结果,实现对业务应用的可伸缩性调整。例如,广告营销业务部门可以通过利用支付宝数据库的分析数据,监控营销活动的效果,一旦不为用户接受,就立刻做出调整,而网站UI设计师也可以从用户访问轨迹中,探寻到导致用户放弃购买行为的设计缺陷,从而进行设计优化。
“支付宝已经成为数据化运营的公司,从CEO到业务人员以及数据挖掘分析师,都有利用数据挖掘的场所,可以说是全员数据化,大数据已经成为支付宝最大的财富。”目前,支付宝的用户已超6亿,预计今年年底数据量会增至1.8PB,蒋杰总结出一个定律:支付宝的交易量每年会翻倍,而数据量增长则会增长四倍左右。对于支付宝而言,这将是企业数据化生存的重要机遇。
某种程度上说,大数据也强调商业智能的重要性,但它呈现出来的新特性,正试图超越商业智能的范畴,从而开辟企业进行商业优化的新疆界。
3、大数据引领行业变革
去年10月,北京海淀区稻香湖金融服务区的200亩地被“圈走”,这里将筹建证券行业的行业数据中心,届时,各大券商将把自家数据共享至此,一方面省去了自建灾备中心的投入,另一方面这个数据中心将为整个行业提供全新的增值服务。
民族证券总工程师马光悌参与了该项目的认证和筹划,并将其视为“影响整个行业的大事件”。在他看来,行业数据中心是证券行业应对大数据的有益尝试,凭借其计算能力,证券公司可以对当天的交易数据进行更为迅速的分析,响应速度将获得提升。同时,共享的行业数据可以使得券商拿到更为全面和准确的行业分析结果,这是券商自建数据中心所不能获得的增值服务。
在不久的将来,大数据或许能呈现出改变整个行业的力量。
国家电网公司去年建成了电力云仿真实验室,其中一个重要课题就是如何解决海量数据存储与运算的难题。国网信通公司云计算与信息资源中心主任吴凯峰表示,大数据是国网实现智能电网必须要面临的挑战,一方面,国网在输电线路上布设了大量的监控点,每秒都要传回海量数据,同时,智能电表实现规模推广后,电网公司需要缩短用电数据的收集时间,数据量也将激增。
“这就出现一个难题,就是如何在下一个数据采集高峰期来临之前,将上一次采样结果计算出来。而准确分析用户的用电行为,将为制定阶梯电价,以及达到输电与用电的平衡,提供重要的决策支持。”吴凯峰称,相关解决方案还在测试当中,但有效应对大数据的挑战,将是实现电网互动的关键之一。
不过,国网公司的智能互动尝试并不仅限在电力行业,它正试图推动相关行业的产业变革。在国网对于未来智能电网的蓝图中,已经将版图扩张至电动汽车与充电设施、家庭新能源利用、智能家居和电力光线到户等领域。
为此,国网今年将大力建设67座智能变电站,推广应用5000万具智能电表,并新建173座充换电站和9211个充电桩,完成25个智能小区/楼宇建设。
据业内人士分析,智能电网相关产业要从试点走向快速发展,它们与电网公司的智能对接将是关键,需要实现无缝和实时的数据传输,而这无疑将考验着国网应对大数据的能力。
而在麦肯锡的报告中,仔细分析了美国医疗行业、欧洲政府公共服务、美国零售业、全球制造业以及个人位置信息行业——它们在2010年占据了全球GDP约40%的份额,据称,它们均可借助大数据实现新的行业增值转型。例如,麦肯锡预计,美国医疗健康行业每年可以从海量数据中实现超过3000亿美元的价值,而善于利用大数据的零售商可以提升约60%的利润空间。
不过,在水晶石CIO方凡看来,摆在大数据面前的依然有很多难题。比如在技术层面,企业需要提升计算、存储和网络交换等方面的能力,三者不可偏废。此外,一旦针对大数据的业务需求呈现波峰波谷的巨大落差,企业将面临两难的选择——不投资IT基础设施,将无法应对挑战,而如果做了投资,业务量一旦下滑,前期的投资会打了水漂,这是一个需要仔细拿捏权衡的难题。
“大数据不是一夜之间产生的,CIO的最大任务就是贴近业务的发展需求,用最少的投资满足企业最大限度的发展需求。”方凡称。
相关文章:
1.大数据时代读书心得体会
2.大数据基础知识
3.大数据开题报告范文
4.《大数据教育》阅读答案
5.浅谈大数据技术对高校教学改革的启示
6.大数据的互联网思维