如何洞察大数据的关联性

2015-08-16 |  作者:高礼强 |  来源:TechTarget中国 |  查看原文

摘要越来越多的人开始重视“数据技术(DT )”, 也就是从传统IT的以事务处理技术为核心,逐步转向专注于数据本身。“数字化”,“物联网”和“云计算”让一切皆可“量化”,所有的系统和设备每时每刻都在产生大量的、不同...

越来越多的人开始重视“数据技术(DT )”, 也就是从传统IT的以事务处理技术为核心,逐步转向专注于数据本身。“数字化”,“物联网”和“云计算”让一切皆可“量化”,所有的系统和设备每时每刻都在产生大量的、不同格式的、混杂的数据。利用好这些数据,可以让我们更全面的了解我们身处的世界。

甲骨文公司副总裁及企业绩效、商务智能和大数据业务中国区总经理高礼强

利用大数据的关键在于缩短业务人员和数据之间的距离。我观察到国内越来越多的客户在计划实施大数据项目,他们其中大多数都有在“小”数据时代建设传统数据仓库(Data Warehouse)、数据挖掘(Data Mining)和商业智能(Business Intelligence)的经验,但由于缺少对大数据思维变革的理解,往往事倍功半。究其原因,主要是忽略了大数据所要处理的,不仅有传统结构化的高价值密度的业务数据,还包括规模巨大且结构多样化的低价值密度数据。因此,做大数据分析所采用的分析策略和技术手段,必然有所不同。打个比方,如果我们传统的结构化数据分析项目主要做的是1+1=2的因果关系分析,那么大数据其实更需要做的是A+B+C+D=?的关联度分析。换言之,传统的数据分析项目做的通常是可以预知的事情,提高的是业务管理效率,而大数据探索是要寻找潜在的业务规律,和可能带来的业务创新。

因果关系示意图

关联关系示意图

可视化探索+关联性分析=“全数据”洞察

在“小”数据时代,做好数据关联关系分析和因果分析已属不易。数据很难得到,收集整理过程也往往耗费巨大。从了解需求、建立假设、创建模型,再通过实验来验证假设。由于一切都始于假设,这些分析就都有受偏见影响的可能,而且极易导致错误。

如果用这样的方法去做大数据项目,通过数据整合、治理、清洗、建模、挖掘分析和展现的过程,业务用户距离数据仍然是比较遥远的。而一旦人们依赖主观的经验对低价值大数据进行清洗,必然客观上会导致数据价值的无辜流失。所以,对于大数据项目来说,如果你能对大数据有基于全数据(而不是清洗后的数据)的可视化探索洞察,就能在理解数据关联基础上,更好地进行高效的数据价值发现。甲骨文作为数据管理与业务分析软件领域的市场领导者,为客户提供最全面、集成度最高的大数据解决方案,帮助各种规模的企业组织发现大数据的关联价值,帮助更好制定和调整业务战略、优化运营、抓住新的市场机遇。甲骨文的大数据信息探索工具Endeca和新一代的面向Hadoop技术的甲骨文大数据发现(Oracle Big Data Discovery, Oracle BDD)是强大的可视化大数据探索工具,是集发现、探索、转变、挖掘、展现和共享为一体的端到端大数据关联分析平台。

汽车行业大数据应用:实现高效售后服务

为了方便大家理解,我这里与大家分享两个生动的Oracle BDD的应用案例。我们有一个汽车集团的用户,这个企业的大数据系统非常复杂,汇集了包括零部件采购数据、产成品数据、库存数据、销售数据、售后维修维护数据、售后T&M开销数据、客服中心受理数据、客户网上投诉数据、多个汽车论坛的互联网舆情数据等等。

我们的客户通过Oracle BDD进行大数据探索,可以成功地了解到哪些问题和哪些部件的关联性高、哪些问题和维修量关联性高等有价值的信息。当客户的业务分析师进入BDD的应用界面,首先可以看到所有220个数据属性(维度)的面

相关文章