主任,我们可能做了个假的大数据台

自大数据纳入国家发展战略以后,涌现了各种各样的大数据平台,大到全国性的行业大数据平台,小到县、乡镇的“大数据”平台,众多的系统平台进一步推动国家信息化的水平,但是,很多项目打着大数据的名义,做出了一些非大数据功能的传统数据管理系统,这不仅浪费了资金,还有可能扰乱当地的数据治理体系,给后续数据整合带来困难。

为什么大数据项目那么火热:多方推动是原因一,原因二因为大数据的很多组件都是开源的,成本低,只要稍作封装,即可产生一定功能,项目利润较大。如数据可视化,最常见的:各种饼图、柱图,


EXCEL表示不服,这是我多年前就有了的功能:


那么怎样才算大数据平台?联盟君的四个观点如下:

1、 有基于大数据体系的架构

即有完整的数据采集、数据治理、数据存储管理、数据数据分析、数据可视化体系。每个体系均有多个可用工具,并可进行模块化添加删除。如数据采集,支持ETL、kafka、接口等多种方式。数据存储管理应具备数据仓库功能,并能在数据维度、数据关联度、数据体量等方面可以按需灵活扩充等。

2、 数据源应是多维度、数据更新有持续性、体量较大

参照如公安、银行、交通、电力、通信、工厂等行业,人或机器在运动或运营中产生着大量的数据,不断填充进数据仓库,才能有充足的分析依据。

3、 有分析模型,并能按需调整、增加模型

目前很多的大数据平台,“数据查询”、“数据比对”占据了主要的功能,这仅仅是大数据的雕虫小技。经构建多维度的数据标签,加上基于行业应用的算法体系,实现预测、预警,关联分析、模糊查询等功能

才是大数据最有价值的意义所在(也是最值钱的地方)

4、 大数据平台独立存在,对业务平台不产生影响

业务平台就像自来水公司,生产水,提供用水服务;大数据平台可以抽象为水质监测公司,对自来水公司的各类水质、用户数据抽取,用作分析他用,但不影响自来水公司的正常运营。