400-969-7660
首页 > IT问答库 > Java > 大数据处理软件有哪些

大数据处理软件有哪些

2018-03-19 14:44:40 发布
  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在这个互联网时代,对于一些大企业来说,大数据分析处理已经成为日常工作中必不可少的部分,那么处理用于大数据处理的软件有哪些呢?
大数据处理软件有哪些
  Hadoop
  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
  Apache Drill
  为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google’s Dremel.
  据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍,“Drill”已经作为Apache孵化器项目来运作,将面向全球软件工程师持续推广。
  该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。
  “Drill”项目其实也是从谷歌的Dremel项目中获得灵感:该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
  通过开发“Drill”Apache开源项目,组织机构将有望建立Drill所属的API接口和灵活强大的体系架构,从而帮助支持广泛的数据源、数据格式和查询语言。
  Pentaho BI
  Pentaho BI由一个BI 平台和传送最终用户BI 能力的库组成的一个服务器。提供企业级报表、多维分析、仪表盘、数据挖掘和,帮助组织更加有效率的运营。
  SPSS
  SPSS原名Statistical Package for the Social Sciences(社会科学统计软件包),现在已被IBM收购,改名后仍然是叫SPSS,不过全称变更为Statistical Product and Service Solutions(统计产品与服务解决方案)。SPSS是一个专业的统计分析软件。除了基本的统计分析功能之外,还提供非线性回归、聚类分析(Clustering)、主成份分析(PCA)和基本的时序分析。SPSS在某种程度上可以进行简单的数据挖掘工作,比如K-Means聚类,不过数据挖掘的主要工作一般都是使用其自家的Clementine(现已改名为SPSS Modeler)完成。需要提一点的是SPSS Modeler的建模功能非常强大且智能化,同时还可以通过其自身的CLEF(Clementine Extension Framework)框架和Java开发新的建模插件,扩展性相当好,是一个不错的商业BI方案。
  RapidMiner
  RapidMiner声称是“头号开源数据科学平台”,Gartner将它评为高级分析魔力象限报告中的领导者。它能够实现自助式预测分析,承诺有望提升速度飞快的性能。
  用户包括宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、国际特赦组织和通用电气公司。整个RadiMiner平台包括三个独立的组件:RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。这三个组件都采用开源许可证或商业许可证,商业版价格取决于用户数量。
  Storm
  Apache Storm被雅虎、推特、Spotify、Yelp、Flipboard和Groupon之类的公司所使用,它是一种实时大数据处理引擎。
  它的官方网站解释:“Storm让用户很容易可靠地处理无限制的数据流,它在实时处理方面的功能好比Hadoop在批处理方面的功能。”客户可以将它与任何数据库或任何编程语言一起使用。它具有可扩展、容错、易于部分使用的优点。然而用户要注意的是,Storm还没有进入到1.0版本这个阶段。
  H2O
  H2O被60000多个数据科学家和7000多家企业组织所使用,声称是“世界上领先的开源机器学习平台。”由于它的内存技术,它提供了极其出色的性能。它还与Hadoop和Spark之类的其他许多开源数据分析工具整合起来,支持所有主要的流行数据库,提供收费的支持服务。
  除了标准版的H2O外,该公司还提供Sparkling Water,这个版本整合了Spark和Steam,后者是一种端到端人工智能应用引擎。
上一篇 : 你知道什么是健康医疗大数据吗?
下一篇 : 学习大数据有前途吗

在线预约 立享免费试学资格

姓      名 :
联系方式 :
试学课程 :