今天的市场充斥着一系列大数据工具。它们将成本效率，更好的时间管理带入数据分析任务。以下是一些重要的大数据工具及其主要功能和下载链接。
1）Hadoop：
在Apache的Hadoop的软件库是一个大数据框架。它允许跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机。
特征：
- 使用HTTP代理服务器时的身份验证改进
- Hadoop兼容文件系统工作规范
- 支持POSIX样式的文件系统扩展属性
- 它提供了强大的生态系统，非常适合满足开发人员的分析需求
- 它带来了数据处理的灵活性
- 它允许更快的数据处理
下载链接： https ：//hadoop.apache.org/releases.html
2）HPCC：
HPCC是LexisNexis Risk Solution开发的大数据工具。它提供单一平台，单一架构和单一编程语言，用于数据处理。
特征：
- 使用更少的代码高效地完成大数据任务。
- 提供高冗余和可用性
- 它既可以用于Thor集群上的复杂数据处理
- 图形化IDE，用于简化开发，测试和调试
- 它自动优化并行处理的代码
- 提供增强的可扩展性和性能
- ECL代码编译成优化的C ++，它也可以使用C ++库进行扩展
下载链接： https ：//hpccsystems.com/try-now
3）Storm：
Storm是一个免费的开源大数据计算系统。它提供分布式实时，容错处理系统。具有实时计算功能。
特征：
- 它基准测试为每个节点每秒处理100万个100字节消息
- 它使用跨机器集群运行的并行计算
- 如果节点死亡，它将自动重启。该工作程序将在另一个节点上重新启动
- Storm保证每个数据单元至少处理一次或完全一次
- 一旦部署，Storm肯定是Bigdata分析最简单的工具
下载链接： http ：//storm.apache.org/downloads.html
4）Qubole：
Qubole Data是自主大数据管理平台。它是一种自我管理的自我优化工具，允许数据团队专注于业务成果。
特征：
- 适用于每个用例的单一平台
- 开源引擎，针对云进行了优化
- 全面的安全性，治理和合规性
- 提供可操作的警报，见解和建议，以优化可靠性，性能和成本
- 自动制定策略以避免执行重复的手动操作
下载链接：https ：//www.qubole.com/
5）Cassandra：
在Apache的Cassandra数据库今天广泛地用于提供大量数据的有效管理。
特征：
- 通过为用户提供更低的延迟，支持跨多个数据中心进行复制
- 数据会自动复制到多个节点以实现容错
- 它最适合不能丢失数据的应用程序，即使整个数据中心停机也是如此
- Cassandra提供支持合同和服务，可从第三方获得
下载链接： http ：//cassandra.apache.org/download/
6）Statwing：
Statwing是一种易于使用的统计工具。它是由大数据分析师构建的。其现代界面自动选择统计测试。
特征：
- 在几秒钟内探索任何数据
- Statwing有助于在几分钟内清理数据，探索关系并创建图表
- 它允许创建导出到Excel或PowerPoint的直方图，散点图，热图和条形图
- 它还将结果翻译成普通英语，因此分析师不熟悉统计分析
下载链接： https ：//www.statwing.com/
7）CouchDB：
CouchDB将数据存储在JSON文档中，可以使用JavaScript访问Web或查询。它提供具有容错存储的分布式扩展。它允许通过定义Couch复制协议来访问数据。
特征：
- CouchDB是一个单节点数据库，可以像任何其他数据库一样工作
- 它允许在任意数量的服务器上运行单个逻辑数据库服务器
- 它利用了无处不在的HTTP协议和JSON数据格式
- 跨多个服务器实例轻松复制数据库
- 简单的文档插入，更新，检索和删除界面
- 基于JSON的文档格式可以跨不同语言进行翻译
下载链接： http ：//couchdb.apache.org/
8）Pentaho：
Pentaho提供大数据工具来提取，准备和混合数据。它提供可视化和分析，可以改变运营任何业务的方式。这个大数据工具可以将大数据转化为重要的见解。
特征：
- 数据访问和集成，实现有效的数据可视化
- 它使用户能够在源头构建大数据并将其流式传输以进行准确分析
- 无缝切换或组合数据处理与集群内执行，以获得最大程度的处理
- 允许通过轻松访问分析来检查数据，包括图表，可视化和报告
- 通过提供独特的功能支持各种大数据源
下载链接： http ：//www.pentaho.com/download
9）Flink：
Apache Flink是一个开源流处理大数据工具。它是分布式，高性能，始终可用且准确的数据流应用程序。
特征：
- 提供准确的结果，即使对于无序或迟到的数据也是如此
- 它具有状态和容错能力，可以从故障中恢复
- 它可以在大规模上运行，在数千个节点上运行
- 具有良好的吞吐量和延迟特性
- 这个大数据工具支持使用事件时间语义的流处理和窗口化
- 它支持基于数据驱动窗口的时间，计数或会话的灵活窗口
- 它支持各种用于数据源和接收器的第三方系统连接器
下载链接： https ：//flink.apache.org/
10）Cloudera：
Cloudera是最快，最简单，最安全的现代大数据平台。它允许任何人在单个可扩展平台内的任何环境中获取任何数据。
特征：
- 高性能分析
- 它提供多云服务
- 跨AWS，Microsoft Azure和Google Cloud Platform部署和管理Cloudera Enterprise
- 启动和终止群集，只需在需要时支付所需费用
- 开发和培训数据模型
- 报告，探索和自助服务商业智能
- 提供监控和检测的实时洞察
- 进行准确的模型评分和服务
下载链接： https ：//www.cloudera.com/
11）Openrefine：
Open Refine是一款功能强大的大数据工具。它有助于处理凌乱的数据，清理数据并将其从一种格式转换为另一种格式。它还允许使用Web服务和外部数据扩展它。
特征：
- OpenRefine工具可帮助您轻松浏览大型数据集
- 它可用于链接和扩展您的数据集与各种Web服务
- 以各种格式导入数据
- 在几秒钟内探索数据集
- 应用基本和高级单元格转换
- 允许处理包含多个值的单元格
- 在数据集之间创建即时链接
- 在文本字段上使用命名实体提取来自动识别主题
- 借助优化表达式语言执行高级数据操作
下载链接： http ：//openrefine.org/download.html
12）Rapidminer：
RapidMiner是一个开源的大数据工具。它用于数据准备，机器学习和模型部署。它提供了一套产品来构建新的数据挖掘流程和设置预测分析。
特征：
- 允许多种数据管理方法
- GUI或批处理
- 与内部数据库集成
- 交互式，可共享的仪表板
- 大数据预测分析
- 远程分析处理
- 数据过滤，合并，加入和聚合
- 构建，培训和验证预测模型
- 将流数据存储到众多数据库中
- 报告和触发的通知
下载链接： https ：//my.rapidminer.com/nexus/account/index.html#downloads
13）DataCleaner：
DataCleaner是一个数据质量分析应用程序和解决方案平台。它具有强大的数据分析引擎。它是可扩展的，从而增加了数据清理，转换，匹配和合并。
特征：
- 交互式和探索性数据分析
- 模糊重复记录检测
- 数据转换和标准化
- 数据验证和报告
- 使用参考数据清理数据
- 掌握Hadoop数据湖中的数据提取管道
- 在用户花费在处理上的时间之前，确保有关数据的规则是正确的
- 查找异常值和其他恶魔细节，以排除或修复不正确的数据
下载链接： http ：//datacleaner.org/
14）Kaggle：
Kaggle是世界上最大的大数据社区。它帮助组织和研究人员发布他们的数据和统计数据。它是无缝分析数据的最佳位置。
特征：
- 发现和无缝分析开放数据的最佳位置
- 搜索框以查找打开的数据集
- 有助于开放数据移动并与其他数据爱好者联系
下载链接：https ：//www.kaggle.com/
15）Hive：
Hive也是一个开源软件大数据。它允许程序员在Hadoop上分析大型数据集。它有助于快速查询和管理大型数据集。
特征：
- 它支持SQL，如用于交互和数据建模的查询语言
- 它使用两个主要任务map和reducer编译语言
- 它允许使用Java或Python定义这些任务
- Hive专为管理和查询结构化数据而设计
- Hive的SQL语言将用户与Map Reduce编程的复杂性区分开来
- 它提供Java数据库连接（JDBC）接口
下载链接： https ：//hive.apache.org/downloads.html
閱讀更多 飛禹德蒙 的文章
