什么是“大数据”?

微笑琳----


您好!我是

数据僧!以下是我的理解,不对之处还望多多指教!

“大数据”中的就包含了两层含义。

何为大?

第一层 大,是指数据很多,量很大。

近年来,随着互联网和智能硬件的快速普及,数据以爆炸方式增长。全球数据总量增长率将维持在50%左右;到2020 年,全球的数据总量将达到40ZB。

第二层 大,是指数据的相互关系更加复杂,多样,有连续性

随着智能手机的普及,网络的发展3G/4G/5G,人与人的连结,人与物的连结,物与物的连结 变得越来越容易。随之产生的数据,也更加复杂。

截至2016 年,我国手机网民数量已近7.0亿,占整体网民数量的95.1%。

2016 年中国移动互联网用户每日在线时长超过2,500百万小时,同比增长率超过30%。手机网民持续增长,使得大数据采集群体更加广泛;移动端使用时长增加,信息采集更加丰富连贯;场景化特征为大数据发展带来新契机。

何为数据?

人类在互联网上产生的所有数据,基本衣、食、住、行;以及其它各种负责的商业活动等等,最终在计算机留下的只有0,1。


这些0,1 却包含着很多的关联性。仅仅通过传统的计算机处理手段,已经无法做到及时发现,及时更新,及时下结论。所以围绕着大数据 产生了相关的技术,挖掘手段,应用场景,更加方便帮助人们生活、工作。


在另外一个层面讲 大数据值得是围绕着大数据的整个数据处理产业。

目前全球大数据市场中,行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场,分别占据 33.0%、14.7%、17.2%、15.2% 和 7.1% 的市场份额。

以上就是我对大数据的理解,欢迎来找

数据僧 一起探讨大数据相关的问题。


数据僧


首先大数据是有什么类型或者特点呢

第一个是:种类多,什么结构化,非结构化的数据都有

第二个是:量多,现在是信息过载的时代,你浏览一下网页,点击一个鼠标都会产生一个轨迹数数据

第三个是:速度快,每一秒都产生巨大的数量

基于上面几个特点,而当前处理数据的主要是关系型数据库如SQL Mysql等,非关系型有包括有MongoDB等。而大数据的出现是为了解决这些技术无法处理的问题包括:

我用表格列出如下:


1) 数据集成能力:提供从关系型数据库、文本文件与分布式文件系统的双向导入导出能力,并能够进行定时调度;

2) 分布式存储能力:基于分布式文件系统,提供分布式数据仓库和分布式数据库能力,为海量数据存储提供基础;

3) 分布式缓存能力:为MapReduce、Spark等各种计算框架提供缓存,进一步提升数据处理效率;

4) 分布式计算能力:提供离线计算、流计算、交互式查询、机器学习等常见的计算场景。

5) 管理监控能力:提供作业调度、数据管理、运维监控等能力;

6) 数据开放能力:为上层数据应用提供统一数据访问API;

通过上述的大数据平台,为各个对象,各个行业,从海量的数据中找到需求者需要的数据,为他们提供有有价值的数据用于决策等


分享到:


相關文章: