只为寻找那瞬间的快乐
大数据技术包括数据采集，数据管理，数据分析，数据可视化，数据安全等内容。数据的采集包括传感器采集，系统日志采集以及网络爬虫等。数据管理包括传统的数据库技术，nosql技术，以及对于针对大规模数据的大数据平台，例如hadoop，spark，storm等。数据分析的核心是机器学习，当然也包括深度学习和强化学习，以及自然语言处理，图与网络分析等。
大数据的来源：人类社会的所有行为，比如交易、教育、出行、娱乐、吃住......
大数据包含的元素：文字、图片、视频、音频、生物信息、生产资料......
大数据的特点：数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。
大数据的价值：决策参考，比如用话画像、精准营销，产品升级，预测市场趋势等；自动学习，比如头条的精准推送，百度智能地图，谷歌智能机器人等。
大数据主要技术组件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大数据软件有哪些？大数据软件技术简介
https://www.toutiao.com/i6718993848996987396/
加米谷大数据
大数据无疑是近些年来科技领域的一个重要概念，随着越来越多的企业开始逐渐参与到大数据产业链中，大数据自身的定义也在不断得到丰富和发展。
要想定义大数据，可以从以下三个方面来进行定义：
第一：大数据重新定义了数据的价值。大数据既代表了技术，同时也代表了一个产业，更代表了一个发展的趋势。大数据技术指的是围绕数据价值化的一系列相关技术，包括数据的采集、存储、安全、分析、呈现等等；大数据产业指的是以大数据技术为基础的产业生态，大数据的产业生态目前尚未完善，还有较大的发展空间；发展趋势指的是大数据将成为一个重要的创新领域。
第二：大数据为智能化社会奠定了基础。人工智能的发展需要三个基础，分别是数据、算力和算法，所以大数据对于人工智能的发展具有重要的意义。目前在人工智能领域之所以在应用效果上有较为明显的改善，一个重要的原因是目前有了大量的数据支撑，这会全面促进算法的训练过程和验证过程，从而提升算法的应用效果。
第三：大数据促进了社会资源的数据化进程。大数据的发展使得数据产生了更大的价值，这个过程会在很大程度上促进社会资源的数据化进程，而更多的社会资源实现数据化之后，大数据的功能边界也会得到不断的拓展，从而带动一系列基于大数据的创新。
最后，大数据之所以重要，一个重要的原因是大数据开辟了一个新的价值领域，大数据将逐渐成为一种重要的生产材料，甚至可以说大数据将是智能化社会的一种新兴能源。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！
IT人刘俊明
大数据细分应用领域需求与市场分析
制造业需求市场
一、行业信息化建设现状
当前，我国工业正处于转型升级的攻坚时期，国家工信部印发《信息化和工业化深度融合专项行动计划(2013-2018年)》，积极推动信息化和工业化深度融合，国家工信部先后认定16个两化融合试点城市， 各地都取得了显著的成果。上海作为首批8个国家级两化融合试验区之一,连续5年保持全国领先水平。
图表：2016年中国制造行业信息化投资规模统计
2013年，中国制造业信息化投资达620亿元，略有增长，同比增长率为0.8%。2015年，中国制造业信息化投资规模达到655亿元，同比增长3.4%。但是中国制造业中不同行业、不同规模的企业，信息化建设状况差距很大。石化、钢铁、汽车等行业集中度高企业的信息化建设较好，一些企业已基本具备了与国际同行接近的信息化水平;而纺织、轻工等行业，信息化建设水平较低。
随着信息技术的发展以及信息化普及水平的提高，数字技术、网络技术和智能技术日益渗透融入到产品研发、设计、制造的全过程，推动产品生产过程的重大变革。
世界工业化发展正在面临着新的变革，发达国家中德国战略性地提出“工业 4.0”，美国着力打造“工业互联网”，新的动态变化都将影响全球制造业版图，我国制造业亟待转型升级。
二、行业数据量及其特点
制造业的存储数据一般被分为以下几种类型：其一，产品设计数据，这类数据的典型特点是以文件为主，非结构化，共享要求比较高，保存时间也比较长;其二，企业生产环节的业务数据，其特点是以数据库等结构化数据为主，这些数据的重要性不言而喻，它们不仅表现企业目前运行的状况，而且为企业进一步发展决策提供有价值的分析;其三，生产监控数据，其特点是数据量非常大，对存储空间以及I/O吞吐要求高。制造企业中，企业对数据的记录多停留于两种形态：1、传统的纸笔记录;2、Excel电子表格记录。这些操作起来看似简单的数据管理方式，在浪费人力物力的同时，还为企业生产及质量监控埋下了巨大的隐患。而真正挖掘数据背后的价值，更是无从谈起。
三、行业大数据应用需求分析
在制造业的应用中，产、供、销一体化为基本核心外，还有延伸的客户关系管理、供应商信息管理等外延系统，各种海量数据库同时交叉运行，并行服务，用户访问量大，频度高，系统负荷重，而且需要保证数据处理的高实时性，这样信息化才能有效地服务于生产和运营。日常操作及追加资源频繁，是一种复合型的高度动态化应用：数据实时变化频度高，牵扯面广，系统需要形成一个有机的整体随时更新各个状态。
制造型企业的良性运营对信息化的依赖性越来越大，对系统的可靠性、稳定性、安全性和反应速度均提出了很高标准和严格要求：随着企业规模的扩展，信息化应用的规范和普及，对企业网电子数据的使用反映出实时、动态、突发、连续、超高负荷等特点，与生产、销售、供应紧密联结，不容许服务中断甚至反应迟缓。因此硬件设备的性能应体现出较强的先进性、一定的超前性、充分的可靠性及迅捷的反应速度。
四、行业大数据应用场景分析
第一个是在设计环节上。纵观国外能做成百年企业的，都是设计能力超强的公司。设计能力强的企业有个特点，他们会经常到网上去搜用户的反馈，甚至建立一个网上社区，由粉丝参与到设计环节当中，这个时候可以借助大数据的分析能力，将这些反馈快速融入到产品设计当中，推出来的产品才会有消费者买单。而在高端制造业上，需要有设计参数的积累。同样的材料做出来的产品，有的能耐用10年，有的用几年就坏了，这是为什么呢?主要就是原料配比、加工、工艺等的差别，这要依靠很多年的数据积累形成的。鼓励国内制造企业在设计过程中，用大数据的理念，从头到尾捕捉下来，所有的设计人员用数据的眼光去做设计，而不是说产品做不好是其它部门的事，管理水平决定了数据的意识和应用的水平。
第二个环节是生产车间。国内的高端制造业其实信息化程度很高，生产线上的机床基本都是自动化的，从原材料进入车间到成品产生，人甚至都不用干预。每个数控机床就是一部小电脑，一条生产线下来就有几十个质量控制点，只要机器一开每分钟就会产生巨大的数据量。如果在全国有很多工厂，产量比较大的话，这个制造企业本身就是一个标准的大数据应用场景。“大数据对于制造企业来说好像挺高级的，但也不用怕，可以从小的地方开始，先将数据以自己的维度从机器上采集起来，再结合预先建立的模型，就可以逐步形成大数据的应用。通过一个月、半年、一年的积累，就可以分析出质量跟哪些因素相关，以此为依据去改进产品和生产流程。
五、行业大数据应用价值分析
基于工业数据仓库的精准营销管理，依托工行强大的数据仓库平台，建设精准营销管理系统集群，充分运用数据挖掘以及大数据分析等现代化的信息技术手段，就能够通过客户信息的全面采集、高度集成、深度挖掘与高效运用等措施建立“以客户为中心”的精准营销管理体系。
大数据使不同的工业企业构建起了客户营销统一视图，打破信息孤岛，深度挖掘客户需求，实现目标客户精准定位，推进客户分层分类服务。此外，通过搭建智能营销信息服务平台，企业还能实现精准营销信息的智能化、自动化、制度化、流程化管理，推进营销管理模式再造和制度完善，加强与客户之间的沟通和良性互动，提升客户满意度和忠诚度。
想要了解更多关于大数据专业分析请关注中研普华研究报告《2017-2022年中国大数据应用行业全景调研与投资风险预测报告
中研网
大数据的概念可能不同的人会有不同的理解，我自己从08年开始从事大数据相关的工作，那个时候我们是觉得自己搞的是云计算和数据仓库，而到了2011、2012年的时候，国内大数据的概念才兴起来，之后就是炒了三年的概念。
因为从事这一方向，这几年不断会有人问我什么是大数据？我一直都回答不好。在最近的几个月，我对这一概念思考的更多一些，结合看过的一些资料（如《大数据时代》、《数学之美》第二版、《硅谷之谜》、吴军的演讲材料等）和实际的经历，算是有了一些认识。与其说认识，还不如说是总结，换个角度看待这个问题，分为大数据概念和大数据思维。
我把大数据的概念总结为四个字：大、全、细
