大数据频道 频道

未来大数据时代,Hadoop会被Spark取代?

  【IT168 评论】由雅虎为工程师和数据科学家打造的Apache Hadoop曾因巨大的潜力而备受称赞,但如今它却受到了更快的产品的影响,而这些产品往往来自于它本身的生态系统——Spark就是其中之一。今年早些,H20.ai的创始人Sri Ambati对Datanami 曾说:“Spark将会使Hadoop处于绝地”。

  但在过去的几年中,Hadoop似乎并没有出现过任何衰退的迹象。在2015年Atscale的调查报告中显示:“在未来3个月内,已经有超过 76%的人使用Hadoop来做更多的工作。”这些受访者中大约有一半声称他们利用Hadoop工作中获得了一定的价值。Hadoop作为一个十多年的老品牌,在产品的采用方面并没有减缓下降的趋势,Spark也并没有做到真正取代Hadoop。空口无凭,下面我们从以下几个方面来分析一下Spark在未来的几年之内到底能不能真正的取代Hadoop。

  按行业划分的市场渗透率

  毫无疑问,为专家设计的产品一般都会停留在原来的轨道上,在其他方面不会有所涉及。但Spark在各个行业都存在一些有意义的分布,这可能要归功于各种市场上的大数据的泛滥。所以,虽然Spark可能有更广泛的应用,但Hadoop仍然支配着原本预期的用户群。

大数据已来, Hadoop真的要被Spark取代?

  主要地理市场

  在全球范围内,我们可以看到Informatica处于中心位置——在欧洲和美洲整体市场份额占比达32%。在两年半的时间里,我们跟踪了Informatica在云市场和工业领域的增长,结果显示达到了50%的增长,而且在高等教育领域也处于领先地位。上周, Informatica被Gartner评为主数据管理解决方案2017年魔力象限的领导者。而Hadoop仍然停留于过去成功的地理市场中。

大数据已来, Hadoop真的要被Spark取代?

  公司规模的采用趋势

  在企业客户中Spark也没有大范围的涉及。我们注意到世界上大多数公司规模较小,一般都为1-50名员工,所以Spark似乎并不是任何规模公司的唯一选择。对于那些已经使用Hadoop的人来说,这个产品也对企业和公司起到了一定的作用,而且 Hadoop并不仅限于一种用户。而Hadoop无论在何种规模的公司中,使用率相对于Spark还是非常高的。

大数据已来, Hadoop真的要被Spark取代?

  写在最后

  此外,在调查的过程中,传统的科技公司像eBay、Verizon、惠普和亚马逊等主流厂商已经开始使用Spark,但是Hadoop还没有被大规模的抛弃。相反,用户使用Spark作为系统的介绍,利用这个程序来突破Hadoop的障碍,两者的结合,使得工作更高效的完成。

0
相关文章