关于大数据的文章
科技的进步在很多的时候总会超出我们的想象,试想如果未来我们一个人拥有的电脑设备超过现在全球现在计算能力的总和,一个人产生的数据量超过现在全球数据量的总和,大数据已经越来越被人们重视!下面是小编为大家整理的关于关于大数据的文章的相关资料,供您参考!
关于大数据的文章篇1:看懂工业大数据不得不读的一篇文章!
工业大数据是互联网、大数据和工业产业结合的产物,是中国制造2025、工业4.0等国家战略在企业的落脚点。
对于企业而言,了解工业大数据产生的背景,归纳工业企业大数据的分类和特点,从数据流推动工业价值创造的视角看待、重造工业价值流程,将具有很强的现实意义。文章最后,笔者分享几个在工业领域数据驱动价值创造的案例,希望起到抛砖引玉的作用。
工业大数据产生的背景
在工业生产中,无时不刻都在产生数据。生产机床的转速、能耗,食品加工的温湿度,火力发电机组的燃烧和燃煤消耗,汽车的装备数据,物流车队的位置和速度等,都是在生产过程中的数据。
自从工业从社会生产中独立成为一个门类以来,工业生产的数据采集、使用范围就逐步加大。从泰勒拿着秒表计算工人的用铁锹送煤到锅炉的时间开始,是对制造管理数据的采集;福特汽车的流水化生产,是对汽车生产过程的工业数据的采集和工厂内使用;丰田的精益生产模式,将数据的采集和使用扩大到工厂和上下游供应链;核电站发电过程中全程自动化将生产过程数据的自动化水平提高到更高程度。
任何数据的采集和使用都是有成本的,工业数据也不例外。但随着信息、电子和数学技术的发展,传感器、物联网等技术的发展,一批智能化、高精度、长续航、高性价比、微型传感器面世,以物联网为代表的新一代网络技术在移动数据通信的支持下,能做到任何时间、任何地点采集、传送数据。以云计算为代表的新型数据处理基础架构,大幅降低工业数据处理的技术门槛和成本支出。
社会需求变革是最大拉动力。在商品过剩经济时代,以个性化为代表的消费文化,使得工业企业的产出物,要最大限度匹配个性需求。从服装定制,车辆选配,到T恤印花和个性化教育。
国策方针是重要影响力。完成了工业自动化过程的德国工业界,在自动化基础上,以工业数据为基础,引入云计算和人工智能技术,提升工业的智能化水平,以满足大批量个性化定制的社会生产需求;美国拥有强大的云计算、互联网及数据处理能力,基于此,提出工业互联网战略,将单个设备、单条生产线、单个工厂的数据联网,通过大数据处理后,在诊断、预测、后服务等方面挖掘工业服务的价值。
中国相对于德国、美国而言,在工业自动化、在云计算等领域都处于发展期,因此提出中国制造2025计划,通过工业化和信息化融合发展的方式,将工业化和信息化整体规划,并制定一系列的重点工程和推进计划。
工业大数据的特点和分类
随着行业发展,工业企业收集的数据维度不断扩大。主要体现在三个方面:
一是时间维度不断延长。经过多年的生产经营,积累下来历年的产品数据、工业数据、原材料数据和生产设备数据;
二是数据范围不断扩大。随着企业信息化建设的过程,一方面积累了企业的财务、供应商数据,也通过CRM系统积累了客户数据,通过CAD等积累了研发过程数据,通过摄像头积累了生产安全数据等,另一方面越来越多的外部数据也被收集回来,包括市场数据、社交网络数据、企业舆情数据等;
三是数据粒度不断细化。从一款产品到多款、多系列产品使得产品数据不断细化,从单机机床到联网机床,使得数据交互频率大大增强;加工精度从1mm提升到0.2mm,从5分钟每次的统计到每5秒的全程监测,都使得采集到的数据精细度不断提升。
以上三个维度最终导致企业所积累的数据量以加速度的方式在增加,构成了工业大数据的集合。不管企业是否承认,这些数据都堆砌在工厂的各个角落,而且在不断增加。
再从企业经营的视角来看待这些工业数据。可以按照数据的用途分成三类:
第一类是经营性数据,如财务、资产、人事、供应商基础信息等数据,这些数据在企业信息化建设过程中陆陆续续积累起来,表现了一个工业企业的经营要素和成果。
第二类是生产性数据,这部分是围绕企业生产过程中积累的数据,包括原材料、研发、生产工艺、半成品、成品、售后服务等。随着数字机床、自动化生产线、SCADA系统的建设,这些数据也被企业大量记录下来。这些数据是工业生产过程中价值增值的体现,是决定企业差异性的核心所在。
第三类是环境类数据,包括布置在机床的设备诊断系统,库房、车间的温湿度数据,以及能耗数据,废水废气的排放等数据。这些数据对工业生产过程中起到约束作用。
从目前的数据采用情况看,经营类数据利用率最高,生产性数据和环境类数据相比差距比较大。从未来数据量来说,生产线数据在工业企业数据中的占比将越来越大,环境类数据也将越来越多样化。
关于大数据的文章篇2:大数据的初步理解
似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇。
首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据客户的需求,Google实时从全球海量的数字资产(或数字垃圾)中快速找出最可能的答案,呈现给你,就是一个最典型的大数据服务。只不过过去这样规模的数据量处理和有商业价值的应用太少,在IT行业没有形成成型的概念。现在随着全球数字化、网络宽带化、互联网应用于各行各业,累积的数据量越来越大,越来越多企业、行业和国家发现,可以利用类似的技术更好地服务客户、发现新商业机会、扩大新市场以及提升效率,才逐步形成大数据这个概念。
有一个有趣的故事是关于奢侈品营销的。PRADA在纽约的旗舰店中每件衣服上都有RFID码。每当一个顾客拿起一件PRADA进试衣间,RFID会被自动识别。同时,数据会传至PRADA总部。每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间,数据都被存储起来加以分析。如果有一件衣服销量很低,以往的作法是直接干掉。但如果RFID传回的数据显示这件衣服虽然销量低,但进试衣间的次数多。那就能另外说明一些问题。也许这件衣服的下场就会截然不同,也许在某个细节的微小改变就会重新创造出一件非常流行的产品。
还有一个是关于中国粮食统计的故事。中国的粮食统计是一个老大难的问题。中国的统计,虽然有组织、有流程、有法律,但中央的统计人员依靠省统计人员,省靠市,市靠县,县靠镇,镇靠村,最后真正干活或上报的是基层兼职的调查人员,由于众所周知的KPI考核导向的原因,层层加码,几乎没有人相信这个调查数据,而其中国家统计局的人是最不信的。在前两年北京的一个会议上,原国家统计局总经济师姚景源向我们讲述了他们是如何做的。他们采用遥感卫星,通过图像识别,把中国所有的耕地标识、计算出来,然后把中国的耕地网格化,对每个网格的耕地抽样进行跟踪、调查和统计,然后按照统计学的原理,计算(或者说估算)出中国整体的整体粮食数据。这种做法是典型采用大数据建模的方法,打破传统流程和组织,直接获得最终的结果。
从这些案例来看,大数据并不是很神奇的事情。就如同电影《永无止境》提出的问题:人类通常只使用了20%的大脑,如果剩余80%大脑潜能被激发出来,世界会变得怎样?在企业、行业和国家的管理中,通常只有效使用了不到20%的数据(甚至更少),如果剩余80%数据的价值激发起来,世界会变得怎么样呢?特别是随着海量数据的新摩尔定律,数据爆发式增长,然后数据又得到更有效应用,世界会怎么样呢?
单个的数据并没有价值,但越来越多的数据累加,量变就会引起质变,就好像一个人的意见并不重要,但1千人、1万人的意见就比较重要,上百万人就足以掀起巨大的波澜,上亿人足以改变一切。
数据再多,但如果被屏蔽或者没有被使用,也是没有价值的。中国的航班晚点非常多,相比之下美国航班准点情况好很多。这其中,美国航空管制机构一个的好做法发挥了积极的作用,说起来也非常简单,就是美国会公布每个航空公司、每一班航空过去一年的晚点率和平均晚点时间,这样客户在购买机票的时候就很自然会选择准点率高的航班,从而通过市场手段牵引各航空公司努力提升准点率。这个简单的方法比任何管理手段(如中国政府的宏观调控手段)都直接和有效。这里多说一两句,过去一个暴政国家对内的控制主要是物理上的暴力,就是强力机构权力无限大,搞国家恐怖主义;而现在一个暴政国家,主要是就靠垄断信息、封锁信息,让民众难以获得广泛而真实的信息,从而实现国家的控制。这个信息封锁,就是对大数据的封锁。
没有整合和挖掘的数据,价值也呈现不出来。《永无止境》中的库珀如果不能把海量信息围绕某个公司的股价整合起来、串联起来,这些信息就没有价值。
因此,海量数据的产生、获取、挖掘及整合,使之展现出巨大的商业价值,这就是我理解的大数据。在互联网对一切重构的今天,这些问题都不是问题。因为,我认为大数据是互联网深入发展的下一波应用,是互联网发展的自然延伸。目前,可以说大数据的发展到了一个临界点,因此才成为IT行业中最热门的词汇之一。
二、大数据将重构很多行业的商业思维和商业模式
我想以对未来汽车行业的狂野想象来展开这个题目。
在人的一生中,汽车是一项巨大的投资。以一部30万车、七年换车周期来算,每年折旧费4万多(这里还不算资金成本),加上停车、保险、油、维修、保养等各项费用,每年耗费应在6万左右。汽车产业也是一个很长产业链的龙头产业,这个方面只有房地产可以媲美。
但同时,汽车产业链是一个低效率、变化慢的产业。汽车一直以来就是四个轮子、一个方向盘、两排沙发(李书福语)。这么一个昂贵的东西,围绕车产生的数据却少的可怜,行业产业链之间几无任何数据传递。
我们在这里狂野地想象一番,如果将汽车全面数字化,都大数据了,会产生什么结果?
有些人说,汽车数字化,不就是加个MBB模块吗?不,这太小儿科了。在我理想中,数字化意味着汽车可以随时联上互联网,意味着汽车是一个大型计算系统加上传统的轮子、方向盘和沙发,意味着可以数字化导航、自动驾驶,意味着你和汽车相关的每一个行动都数字化,包括每一次维修、每一次驾驶路线、每一次事故的录像、每一天汽车关键部件的状态,甚至你的每一个驾驶习惯(如每一次的刹车和加速)都记录在案。这样,你的车每月甚至每周都可能产生T比特的数据。
好了,我们假设这些数据都可以存储并分享给相关的政府、行业和企业。这里不讨论隐私问题带来的影响,假设在隐私保护的前提下,数据可以自由分享。
那么,保险公司会怎么做呢?保险公司把你的所有数据拿过去建模分析,发现几个重要的事实:一是你开车主要只是上下班,南山到坂田这条线路是非繁华路线,红绿灯很少,这条路线过去一年统计的事故率很低;你的车况(车的使用年限、车型)好,此车型在全深圳也是车祸率较低;甚至统计你的驾驶习惯,加油平均,临时刹车少,超车少,和周围车保持了应有的车距,驾驶习惯好。最后结论是你车型好,车况好,驾驶习惯好,常走的线路事故率低,过去一年也没有出过车祸,因此可以给予更大幅度的优惠折扣。这样保险公司就完全重构了它的商业模式了。在没有大数据支撑之前,保险公司只把车险客户做了简单的分类,一共分为四种客户,第一种是连续两年没有出车祸的,第二种过去一年没有出车祸,第三种过去一年出了一次车祸,第四种是过去一年出了两次及以上车祸的,就四种类型。这种简单粗暴的分类,就好像女人找老公,仅把男人分为没有结过婚的、结过一次婚的、结过二次婚的、结过三次及以上婚的四种男人,就敢嫁人一样。在大数据的支持下,保险公司可以真正以客户为中心,把客户分为成千上万种,每个客户都有个性化的解决方案,这样保险公司经营就完全不同,对于风险低的客户敢于大胆折扣,对于风险高的客户报高价甚至拒绝,一般的保险公司就完全难以和这样的保险公司竞争了。拥有大数据并使用大数据的保险公司比传统公司将拥有压倒性的竞争优势,大数据将成为保险公司最核心的竞争力,因为保险就是一个基于概率评估的生意,大数据对于准确评估概率毫无疑问是最有利的武器,而且简直是量身定做的武器。
在大数据的支持下,4S店的服务也完全不同了。车况信息会定期传递到4S店,4S店会根据情况及时提醒车主及时保养和维修,特别是对于可能危及安全的问题,在客户同意下甚至会采取远程干预措施,同时还可以提前备货,车主一到4S店就可以维修而不用等待。
对于驾驶者来说,不想开车的时候,在大数据和人工智能的支持下,车辆可以自动驾驶,并且对于你经常开的线路可以自学习自优化。谷歌的自动驾驶汽车,为了对周围环境作出预测,每秒钟要收集差不多1GB的数据,没有大数据的支持,自动驾驶是不可想象的;在和周围车辆过近的时候,会及时提醒车主避让;上下班的时候,会根据实时大数据情况,对于你经常开车的线路予以提醒,绕开拥堵点,帮你选择最合适的线路;在出现紧急状况的时候,比如爆胎,自动驾驶系统将自动接管,提高安全性(人一辈子可以难以碰到一次爆胎,人在紧急时的反应往往是灾难性的,只会更糟);到城市中心,寻找车位是一件很麻烦的事情,但未来你可以到了商场门口后,让汽车自己去找停车位,等想要回程的时候,提前通知让汽车自己开过来接。
车辆是城市最大最活跃的移动物体,是拥堵的来源,也是最大的污染来源之一。数字化的车辆、大数据应用将带来很多的改变。红绿灯可以自动优化,根据不同道路的拥堵情况自动进行调整,甚至在很多地方可以取消红绿灯;城市停车场也可以大幅度优化,根据大数据的情况优化城市停车位的设计,如果配合车辆的自动驾驶功能,停车场可以革命性演变,可以设计专门为自动驾驶车辆的停车楼,地下、地上楼层可以高达几十层,停车楼层可以更矮,只要能高于车高度即可(或者把车竖起来停),这样将对城市规划产生巨大的影响;在出现紧急情况,如前方塌方的时候,可以第一时间通知周围车辆(尤其是开往塌方道路的车辆);现在的燃油税也可以发生革命性变化,可以真正根据车辆的行驶路程,甚至根据汽车的排污量来收费,排污量少的车甚至可以搞碳交易,卖排放量卖给高油耗的车;政府还可以每年公布各类车型的实际排污量、税款、安全性等指标,鼓励民众买更节能、更安全的车。
电子商务和快递业也可能发生巨大的变化。运快递的车都可以自动驾驶,不用赶白天的拥堵的道路,晚上半夜开,在你家门口设计自动接收箱,通过密码开启自动投递进去,就好像过去报童投报一样。
这么想象下来,我认为,汽车数字化、互联网化、大数据应用、人工智能,将对汽车业及相关的长长的产业链产生难以想象的巨大变化和产业革命,具有无限的想象空间,可能完全被重构。当然,要实现我所描述的场景,估计至少50年、100年之后的事情了,估计我这辈子是看不到的。
这里,我想系统回顾一下工业文明的发展历程,首先是物理世界的工业文明,典型是蒸汽机的发明,使汽车、轮船进入生活;然后是数字世界的工业文明,就是IT技术的使用,使PC及各种电子产品进入生活,以及企业数字化系统的建立,使沃尔玛这样的巨型企业产生成为可能;下一步就是物理世界和数字世界的融合,这也就是业界热炒的“工业互联网”、“IT 3.0”,而这里面除了数字技术在传统行业的使用(这个事实上已经在广泛使用)、电子商务在渠道的广泛推行,更重要的就是大数据的产生及挖掘、使用,使企业在管理方式、市场机会挖掘、产品设计、营销、服务、商业模式等发生巨大的变化,这种巨大的变化带来了很多行业的革命性变局,也就是颠覆与改造。这种变化在所谓的低效率的大行业将最为明显与直接。这些所谓的的低效率大行业,就是垄断特征明显、产业规模大、产业链长、历史悠久但长时间变化少、IT应用水平低的行业,如汽车、金融、保险、医疗等。
在这个章节的最后,我想总结一下自己对大数据的看法。
第一,大数据使企业真正有能力从以自我为中心改变为以客户为中心。企业是为客户而生,目的是为股东获得利润。只有服务好客户,才能获得利润。但过去,很多企业是没有能力做到以客户为中心的,原因就是相应客户的信息量不大,挖掘不够,系统也不支持,目前的保险业就是一个典型。大数据的使用能够使对企业的经营对象从客户的粗略归纳(就是所谓提炼归纳的“客户群”)还原成一个个活生生的客户,这样经营就有针对性,对客户的服务就更好,投资效率就更高。
第二,大数据一定程度上将颠覆了企业的传统管理方式。现代企业的管理方式是来源于对军队的模仿,依赖于层层级级的组织和严格的流程,依赖信息的层层汇集、收敛来制定正确的决策,再通过决策在组织的传递与分解,以及流程的规范,确保决策得到贯彻,确保每一次经营活动都有质量保证,也确保一定程度上对风险的规避。过去这是一种有用而笨拙的方式。在大数据时代,我们可能重构企业的管理方式,通过大数据的分析与挖掘,大量的业务本身就可以自决策,不必要依靠膨大的组织和复杂的流程。大家都是基于大数据来决策,都是依赖于既定的规则来决策,是高高在上的CEO决策,还是一线人员决策,本身并无大的区别,那么企业是否还需要如此多层级的组织和复杂的流程呢?
第三,大数据另外一个重大的作用是改变了商业逻辑,提供了从其他视角直达答案的可能性。现在人的思考或者是企业的决策,事实上都是一种逻辑的力量在主导起作用。我们去调研,去收集数据,去进行归纳总结,最后形成自己的推断和决策意见,这是一个观察、思考、推理、决策的商业逻辑过程。人和组织的逻辑形成是需要大量的学习、培训与实践,代价是非常巨大的。但是否这是唯一的道路呢?大数据给了我们其他的选择,就是利用数据的力量,直接获得答案。就好像我们学习数学,小时候学九九乘法表,中学学几何,大学还学微积分,碰到一道难题,我们是利用了多年学习沉淀的经验来努力求解,但我们还有一种方法,在网上直接搜索是不是有这样的题目,如果有,直接抄答案就好了。很多人就会批评说,这是抄袭,是作弊。但我们为什么要学习啊?不就是为了解决问题嘛。如果我任何时候都可以搜索到答案,都可以用最省力的方法找到最佳答案,这样的搜索难道不可以是一条光明大道吗?换句话说,为了得到“是什么”,我们不一定要理解“为什么”。我们不是否定逻辑的力量,但是至少我们有一种新的巨大力量可以依赖,这就是未来大数据的力量。
第四,通过大数据,我们可能有全新的视角来发现新的商业机会和重构新的商业模式。我们现在看这个世界,比如分析家中食品腐败,主要就是依赖于我们的眼睛再加上我们的经验,但如果我们有一台显微镜,我们一下就看到坏细菌,那么分析起来完全就不一样了。大数据就是我们的显微镜,它可以让我们从全新视角来发现新的商业机会,并可能重构商业模型。我们的产品设计可能不一样了,很多事情不用猜了,客户的习惯和偏好一目了然,我们的设计就能轻易命中客户的心窝;我们的营销也完全不同了,我们知道客户喜欢什么、讨厌什么,更有针对性。特别是显微镜再加上广角镜,我们就有更多全新的视野了。这个广角镜就是跨行业的数据流动,使我们过去看不到的东西都能看到了,比如前面所述的汽车案例,开车是开车,保险是保险,本来不相关,但当我们把开车的大数据传递到保险公司,那整个保险公司的商业模式就全变了,完全重构了。
最后一点,我想谈的是大数据发展对IT本身技术架构的革命性影响。大数据的根基是IT系统。我们现代企业的IT系统基本上是建立在IOE(IBM小型机、Oracle数据库、EMC存储)+Cisco模型基础上的,这样的模型是Scale-UP型的架构,在解决既定模型下一定数据量的业务流程是适配的,但如果是大数据时代,很快会面临成本、技术和商业模式的问题,大数据对IT的需求很快就会超越了现有厂商架构的技术顶点,超大数据增长将带来IT支出增长之间的线性关系,使企业难以承受。因此,目前在行业中提出的去IOE趋势,利用Scale-out架构+开源软件对Scale-up架构+私有软件的取代,本质是大数据业务模型所带来的,也就是说大数据将驱动IT产业新一轮的架构性变革。去IOE潮流中的所谓国家安全因素,完全是次要的。
所以,美国人说,大数据是资源,和大油田、大煤矿一样,可以源源不断挖出大财富。而且和一般资源不一样,它是可再生的,是越挖越多、越挖越值钱的,这是反自然规律的。对企业如此,对行业、对国家也是这样,对人同样如此。这样的东西谁不喜欢呢?因此,大数据这么热门,是完全有道理的。
关于大数据的文章篇3:一篇文章读懂大数据思维
真正的革命并不在于分析数据的机器,而在于数据本身和我们如何运用数据。将大规模的数据与运用融合一起,将会颠覆很多我们原来的思维。大数据思维原理到底是什么?笔者概括为10项原理。
一、数据核心原理:从“流程”核心转变为“数据”核心
大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。
例如:IBM将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下,云计算找到了破茧重生的机会,在存储和计算上都体现了数据为核心的理念。
大数据和云计算的关系:云计算为大数据提供了有力的工具和途径,大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地,可有效利用已大量建设的云计算资源,最后加以利用。
科学进步越来越多地由数据来推动,海量数据给数据分析既带来了机遇,也构成了新的挑战。大数据往往是利用众多技术和方法,综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战,我们需要新的统计思路和计算方法。
说明:用数据核心思维方式思考问题,解决问题。以数据为核心,反映了当下IT产业的变革,数据成为人工智能的基础,也成为智能化的基础,数据比流程更重要,数据库、记录数据库,都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁,你需要什么,从而推荐给你需要的信息。
二、数据价值原理:由功能是价值转变为数据是价值
大数据真正有意思的是数据变得在线了,这个恰恰是互联网的特点。非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。
例如:大数据的真正价值在于创造,在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。
与此类似,大数据并不在“大”,而在于“有用”,价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。
举例来说,这里有一张照片,照片里的人在骑马,这张照片每一分钟,每一秒都要拍一张,但随着处理速度越来越快,从1分钟一张到1秒钟1张,突然到1秒钟10张后,就产生了电影。当数量的增长实现质变时,就从照片变成了一部电影。
美国有一家创新企业Decide.com,它可以帮助人们做购买决策,告诉消费者什么时候买什么产品,什么时候买最便宜,预测产品的价格趋势,这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据,然后帮助数以十万计的用户省钱,为他们的采购找到最好的时间,降低交易成本,为终端的消费者带去更多价值。
在这类模式下,尽管一些零售商的利润会进一步受挤压,但从商业本质上来讲,可以把钱更多地放回到消费者的口袋里,让购物变得更理性,这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司,在几个星期前,被eBay以高价收购。
再举一个例子,SWIFT是全球最大的支付平台,在该平台上的每一笔交易都可以进行大数据的分析,他们可以预测一个经济体的健康性和增长性。比如,该公司现在为全球性客户提供经济指数,这又是一个大数据服务。
定制化服务的关键是数据。《大数据时代》的作者维克托·迈尔·舍恩伯格认为,大量的数据能够让传统行业更好地了解客户需求,提供个性化的服务。
说明:用数据价值思维方式思考问题,解决问题。信息总量的变化导致了信息形态的变化,量变引发了质变,最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。
如今,这个概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值,说明数据和大数据的价值在扩大,数据为“王”的时代出现了。数据被解释是信息,信息常识化是知识,所以说数据解释、数据分析能产生价值。
三、全样本原理原理:从抽样转变为需要全部数据样本
需要全部数据样本而不是抽样,你不知道的事情比你知道的事情更重要,但如果现在数据足够多,它会让人能够看得见、摸得着规律。数据这么大、这么多,所以人们觉得有足够的能力把握未来,对不确定状态的一种判断,从而做出自己的决定。
这些东西我们听起来都是非常原始的,但是实际上背后的思维方式,和我们今天所讲的大数据是非常像的。
举例:在大数据时代,无论是商家还是信息的搜集者,会比我们自己更知道你可能会想干什么。现在的数据还没有被真正挖掘,如果真正挖掘的话,通过信用卡消费的记录,可以成功预测未来5年内的情况。
统计学里头最基本的一个概念就是,全部样本才能找出规律。为什么能够找出行为规律?一个更深层的概念是人和人是一样的,如果是一个人特例出来,可能很有个性,但当人口样本数量足够大时,就会发现其实每个人都是一模一样的。
说明:用全数据样本思维方式思考问题,解决问题。从抽样中得到的结论总是有水分的,而全部样本中得到的结论水分就很少,大数据越大,真实性也就越大,因为大数据包含了全部的信息。
四、关注效率原理:由关注精确度转变为关注效率
关注效率而不是精确度,大数据标志着人类在寻求量化和认识世界的道路上前进了一大步,过去不可计量、存储、分析和共享的很多东西都被数据化了,拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。
大数据能提高生产效率和销售效率,原因是大数据能够让我们知道市场的需要,人的消费需要。大数据让企业的决策更科学,由关注精确度转变为关注效率的提高,大数据分析能提高企业的效率。
例如:在互联网大数据时代,企业产品迭代的速度在加快。三星、小米手机制造商半年就推出一代新智能手机。利用互联网、大数据提高企业效率的趋势下,快速就是效率、预测就是效率、预见就是效率、变革就是效率、创新就是效率、应用就是效率。
竞争是企业的动力,而效率是企业的生命,效率低与效率高是衡量企来成败的关键。一般来讲,投入与产出比是效率,追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的,智能机器效率更高,已能代替人的思维劳动。智能机器核心是大数据制动,而大数据制动的速度更快。
在快速变化的市场,快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则,也就是说,速度就是价值,效率就是价值,而这一切离不开大数据思维。
说明:用关注效率思维方式思考问题,解决问题。大数据思维有点像混沌思维,确定与不确定交织在一起,过去那种一元思维结果,已被二元思维结果取代。
过去寻求精确度,现在寻求高效率;过去寻求因果性,现在寻求相关性;过去寻找确定性,现在寻找概率性,对不精确的数据结果已能容忍。只要大数据分析指出可能性,就会有相应的结果,从而为企业快速决策、快速动作、创占先机提高了效率。
五、关注相关性原理:由因果关系转变为关注相关性
关注相关性而不是因果关系,社会需要放弃它对因果关系的渴求,而仅需关注相关关系,也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。
例如:大数据思维一个最突出的特点,就是从传统的因果思维转向相关思维,传统的因果思维是说我一定要找到一个原因,推出一个结果来。
而大数据没有必要找到原因,不需要科学的手段来证明这个事件和那个事件之间有一个必然,先后关联发生的一个因果规律。它只需要知道,出现这种迹象的时候,我就按照一般的情况,这个数据统计的高概率显示它会有相应的结果,那么我只要发现这种迹象的时候,我就可以去做一个决策,我该怎么做。
这是和以前的思维方式很不一样,老实说,它是一种有点反科学的思维,科学要求实证,要求找到准确的因果关系。
在这个不确定的时代里面,等我们去找到准确的因果关系,再去办事的时候,这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说我按那个按钮,一定会出现相应的结果,是这样状态。
而农业社会往前推,不需要找到中间非常紧密的、明确的因果关系,而只需要找到相关关系,只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好,开始挖掘相关关系的好处。
例如:美国人开发一款“个性化分析报告自动可视化程序”软件从网上挖掘数据信息,这款数据挖掘软件将自动从各种数据中提取重要信息,然后进行分析,并把此信息与以前的数据关联起来,分析出有用的信息。
非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉,但市里只有200名处理投诉的巡视员,市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。
该小组建立了一个市内全部90万座建筑物的数据库,并在其中加入市里19个部门所收集到的数据:欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉,诸如此类。
接下来,他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较,希望找出相关性。果然,建筑物类型和建造年份是与火灾相关的因素。不过,一个没怎么预料到的结果是,获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。
利用所有这些数据,该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因,但这些数据与火灾隐患的增加或降低存在相关性。
这种知识被证明是极具价值的:过去房屋巡视员出现场时签发房屋腾空令的比例只有13%,在采用新办法之后,这个比例上升到了70%——效率大大提高了。
全世界的商界人士都在高呼大数据时代来临的优势:一家超市如何从一个17岁女孩的购物清单中,发现了她已怀孕的事实;或者将啤酒与尿不湿放在一起销售,神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。
比如,腾讯一项针对社交网络的统计显示,爱看家庭剧的男人是女性的两倍还多;最关心金价的是中国大妈,但紧随其后的却是90后。而在过去一年,支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。
说明:用关注相关性思维方式来思考问题,解决问题。寻找原因是一种现代社会的一神论,大数据推翻了这个论断。
过去寻找原因的信念正在被“更好”的相关性所取代。当世界由探求因果关系变成挖掘相关关系,我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类进步的基石,又取得实际的进步呢?这是值得思考的问题。
解释:转向相关性,不是不要因果关系,因果关系还是基础,科学的基石还是要的。只是在高速信息化的时代,为了得到即时信息,实时预测,在快速的大数据分析技术下,寻找到相关性信息,就可预测用户的行为,为企业快速决策提供提前量。
比如预警技术,只有提前几十秒察觉,防御系统才能起作用。比如,雷达显示有个提前量,如果没有这个预知的提前量,雷达的作用也就没有了,相关性也是这个原理。比如,相对论与量子论的争论也能说明问题,一个说上帝不掷骰子,一个说上帝掷骰子,争论几十年,最后承认两个都存在,而且量子论取得更大的发展——一个适用于宇宙尺度,一个适用于原子尺度。