如何使大数据发挥巨大的价值?

奥力芙


这是一个非常好的问题,作为一名大数据行业的从业者,我来回答一下这个问题。

当前正处在大数据落地应用的初期,在工业互联网的推动下,大数据也得到了越来越多的关注,对于产业领域来说,如何让大数据发挥出更大的价值是非常重要的,这样不仅能够全面促进传统行业的结构升级,同时也能够全面丰富大数据的行业生态。

要想发挥出大数据的巨大价值,应该从以下三个方面入手:

第一:构建大数据应用平台。当前在开发领域逐渐开始走向平台式开发时代,云计算平台、大数据平台、物联网平台、人工智能平台等都得到了快速的发展,基于平台开发不仅能够加快开发速度,同时也会降低开发门槛,大量的中小企业可以借助于这些成熟的平台实现应用领域的各种创新,而大型科技企业也可以通过构建平台来打造自己的生态体系。所以,要想发挥出大数据的巨大价值,应该首先从构建自己的大数据平台开始。

第二:构建大数据入口。有了大数据平台,下一步就需要为平台注入数据,此时就需要构建大数据的数据入口。构建大数据的数据入口可以从三个方面入手,分别是传统信息系统、物联网系统和互联网系统,这三个系统也是大数据的主要数据来源。

第三:构建大数据出口。大数据本身并不是目的,应用大数据才是目的,而且应用出口往往是体现大数据价值的重要方面。从目前大数据的应用出口来看,人工智能将是未来一个重要的出口,而且这个出口未来能够创造的价值空间也非常大。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!


IT人刘俊明


大数据,数据科学,以及分析的发展与演变在今年的Strata数据会议上得到全面展示,其中包含了一个重要的信息:人们需要获取大数据的价值。

大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。

大数据里面的数据,分三种类型:

(1)结构化的数据:即有固定格式和有限长度的数据。

(2)非结构化的数据:现在非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页、语音,视频等。

(3)半结构化数据:是一些XML或者HTML的格式的数据。

正如在一个数字表演节目中,人们选定的数字是83,认为这会难倒魔术师,魔术师在一个4×4矩阵填写了16个数字,在组合之后,每行和每列之和都是83,并且数字在各行各列中没有重复。魔术师说,“看一下这个结果。如果将每一行的所有数字相加,则它们的总和为83,每列中的数字总和也是83。事实上,每一个组合加起来都是你选的数字。

这就像人们在获得到大量数据的时候的感受——就像魔术一样!日前在纽约举行的Strata数据会议的展位上,Diwo公司提供了一个新的认知决策平台。并采用了这种有趣的方式来介绍他们新的解决方案,也许在无意中会有助于大数据市场的发展。

虽然人们一直在谈论大数据,数据科学和分析已经有了相当长一段时间,但在今年Strata数据会议的活动中,全面展现了市场的演变。可以看出在主题演讲和展览层面所贯穿的几个交织的主题总结出的一个信息:现在是发挥大数据价值的时候了。

这些主题都涉及了一个广泛的观念,在现实生活中大规模应用大数据,科学的数据和分析,现在是超越探索阶段的时候了。而这样规模的数据力量能够改变业务模式和客户体验,或许让人们对这一切感觉有点像魔术。

使大数据更加真实

大数据在大多数情况下一直是技术上关注的领域。虽然商业影响总是很明确,但市场的焦点主要在于实验,以及找出如何解决大规模数据集所面临的技术问题的办法。

当然,大数据的成功应用产生了巨大的业务成果,但市场的主要驱动力是技术开发,而不是业务应用。然而在2017年将有一个明显的变化。

首先,随着行业的不断发展,大数据的社会影响以及数据科学家和从业者必须发挥的重要作用将会显着增加。

“数据毁灭武器:大数据如何加剧不平等并威胁民主”一文的作者,数学家Cathy O’Neil警告说:“我们还没有制定数据科学方面的标准。而糟糕的算法可能危及人们的生命…… 这对于人工智能来说也是不公平的,它使现状和所有隐含的偏差实现自动化。这一点需要得到承认,特别是当我们将注意力集中在那些影响人们生活的事情时。”

联合国儿童基金会创新办公室首席科学家Manuel García-Herranz和美国国会图书馆创新者Jer Thorp也对数据对世界的正面和潜在的负面影响表示了类似的看法。

Garcia-Herranz分享了联合国儿童基金会如何整合数据科学和实时系统来发现的见解,同时仍然可以利用这些系统采取有意义的行动并“为人类应用数据”。

另一方面,Thorp警告说,人们所期望的客观性可能阻止他们了解数据的实际功能和影响。他的建议很简单,但却是深刻的:“不要坐谈,而是需要实践。”

与此同时,大数据和人工智能(AI)的交叉点也在加强了企业处理大数据主动性的紧迫性。虽然大数据作为人工智能动力的本质已经使二者共生,但人工智能作为企业高管面临的头号问题,这正在使企业规模的大数据在战略上占有一席之地。

实时处理大数据

将重点转移到组织如何在现实世界中应用大数据也带来了第二个重要趋势:实时应用数据和分析的转变。越来越多的人认识到事后分析并不是唯一的大数据用例,实际上这并不是最好的用例。许多组织现在意识到,通过在交易时应用最终的分析和见解,他们可以利用大数据的最大价值。

有了这个用例,组织不仅可以使用回顾性数据进行分析和规划,而且可以使用它来塑造客户体验,更好地进行决策,并在消极结果发生之前降低风险。在交易点使用数据可以采取多种形式,应该是任何现代大数据战略的基本要素。

几家科技公司已经引入了工具和策略来帮助组织实时地整合他们从大数据计划中获得的见解和分析。这些包括(按字母顺序):

Cambridge Semantics:一种基于语义关系数据模型的端到端的探索性分析解决方案,通过根据业务环境构建数据,实现实时分析,并缩短上市时间。

MapR:融合数据平台,提供所谓的“数据结构”,将传统数据湖与流数据集成在一个单独的,位置无关的和场景感知的平台中。

Splice Machine:一种应用程序开发平台,它创建一个新的“预测应用程序”,将事务处理和分析处理合并,并将分析导出的洞察数据注入到应用程序工作流程中。

Striim:实时数据集成和流分析平台,可在摄入时分析数据,以便通过实时洞察来支持决策。

VoltDB:一个运行数据平台,可提供毫秒响应时间的实时事件处理和分析。

虽然这些技术提供商正在采用不同的方法实时应用大数据,但每个技术提供商都向企业组织提供一个相同的信息:现在是使用大数据的最佳时机。

然而,如果一个组织无法在企业级和企业运行模型中实现大数据的工作,那么理解大数据的实际含义并将其应用程序转移到交易点上就没有任何好处。随着组织试图将大数据移到实验领域之外,走向全面的、企业级的应用程序,它们遇到了重要的治理、管理和规模问题。

因此,Strata会话展现的第三个主题是组织在企业规模上进行大数据化工作的必要性,这并不奇怪。毫无疑问,这一进程的很大一部分需要文化和组织转型。但也很清楚,组织还必须转变如何应用技术本身,使其在一定规模中工作。一些科技公司展示了新的技术和技术驱动的方法,他们认为这将有助于企业组织应对大数据企业的各个方面,包括(按字母顺序排列):

Dataguise:一个数据管理平台,可发现,检测,保护,以及监控敏感信息,如PII,PCI和HIPPA,无论是否在组织的数据格局中。

Dataiku:一个大数据平台,创建一个单一的数据流水线,打破孤岛效应,使数据科学家和数据分析人员能够轻松协同工作,加快预测解决方案的部署速度。

DriveScale:一个软件公司改变组织部署和使用所谓的“软件可组合基础架构”的方式,以智能和高度动态的方式连接分解的组件(计算和存储)。

Pure Storage:高效的存储平台,专门用于扩展大数据部署,现代分析需求和人工智能。

Zaloni:一个数据湖管理平台,专注于帮助企业实施数据湖,并迅速获得规模化的业务价值。

发挥大数据的价值

大数据行业核心技术面临的挑战仍然存在,并将在可预见的未来持续下去。随着数据呈指数级增长,企业组织和服务于其的技术公司将继续处在一场持续的战斗中,使其变得易于管理。然而,很明显,组织现在正在开始认真应对在整个企业中应用大数据所带来的挑战,从而可以加速数字化转型,为日益增长的人工智能提供动力。而且很明显,行业和企业组织都认识到,为了实现大数据的承诺,他们需要获得大数据的价值。


十二熊猫


这个问题是行业内大家都很关心的问题,但是,目前为止,没有人能够给出标准的答案,现在来谈一谈我个人的一点浅见,希望大家来一起探讨。

首先,大家都已经接受了一个观点,就是数据里是有大量潜在的价值的,越来越多数据信息服务公司的出现也从侧面说明了一些问题。

其次,当前大数据的项目,大部分流于形式,或者说是跟风,但实际做的东西仅仅是一些基础的应用,比如快速检索,趋势预测等,当然,趋势预测也不能完全算是基础,但是目前来说,是大数据项目中做的比较多的。出现这种现象的原因也是因为:不管是需方还是协助需方做项目立项的技术单位,也无法给出一些具体的应用场景。对需方来说,由于对大数据技术了解的欠缺,或者说是担心大数据能不能做到期望的目标而不敢轻易试水。对技术服务方来说,缺乏对业务的充分了解而无法给出准确、可行的方案,这也是大数据应用遇到的一个困境。

再次,大数据价值的挖掘仍处于一个成长的阶段,大家都在摸索可用、有效的行业解决方案。

最后,根据我个人的一些经验给出一些数据利用的观点:

1.对技术服务方,增加对行业专家的培养和吸纳,增强企业自身在行业内的权威性好专业性。这个短期可能见效慢,但是是长久之计,也是未来发展的趋势。

2.对需方来说,加强与技术方的交流合作,增强双方的信任感,促进技术与业务的有效结合。

3.创客的出现是对大数据发展的一个有利推动,创客更专注于数据的利用,能够充分发挥人的优势,每个人都可能提出对大数据的利用方式,通过一点一点的积累,必将极大的推动大数据价值挖掘的进程。


分享到:


相關文章: