有关Hadoop的六大误解

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

迄今为止，Hadoop和大数据实际上是同义词。然而随着大数据的炒作不断升温，出现了很多对Hadoop如何应用于大数据的误解。

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。而这正是第一个误解的来源：

1、Hadoop是一个完整的解决方案。

事实并非如此。无论你把它称为“框架”或“平台”都可以，只是不能认为Hadoop可以解决大数据方面的所有问题。

“市场上没有标准的Hadoop产品，”《太大而无法忽略：大数据的商业案例》一书的作者菲尔·西蒙说：“这不像别的东西，你可以从IBM或SAP那里，得到一个标准的数据库。”

然而西蒙不认为这是一个长期的问题。首先，由于Hadoop是开源项目，许多其他Hadoop相关的项目，如Cassandra和HBase，都可以满足特定的需求。HBase提供的分布式数据库，支持大数据表的结构化数据存储。

此外，正像红帽、IBM和其他厂商将Linux打包成各种用户友好的产品一样，有很多大数据方面的创业公司，正在对Hadoop做同样的事情。所以，虽然Hadoop本身不是一个完整的解决方案，大多数企业实际上还是会在比较完整的大数据解决方案中遇到它。

2、Hadoop是一种数据库。

Hadoop是经常被当作数据库，但事实并非如此。Damballa安保公司的一名软件工程师，Marshall Bockrath-Vandegrift说：“Hadoop核心中没有任何类似于查询或索引的核心平台。”Damballa公司利用Hadoop来分析实时的安全风险。

“我们使用HBase来帮助我们的风险分析师针对被动DNS数据运行实时查询。HBase和其他实时技术不仅与Hadoop是互补的，而且多数依赖Hadoop核心的分布式存储技术(HDFS)来实现高性能的分布式数据集的访问。”他补充说。

Bloom Reach数据营销分析公司的科学家Prateek Gupta也表示：“Hadoop不是为替代数据库系统而生的，但却可以用来建立数据库系统。”

3、企业级Hadoop应用过于冒险。

许多企业担心Hadoop太新，未经考验，不适合企业级应用。没有什么想法比这更错误的了。别忘了，Hadoop是基于谷歌文件系统的分布式存储平台和运行于该文件系统上的GoogleMapReduce数据分析工具建立的。雅虎在Hadoop上投入了资金和精力，并于2008年推出其第一个大型Hadoop应用，一种搜索“站点地图”，可对所有已知的网页和相应的元数据进行索引，从而完成对这些页面的搜索。

现在，Hadoop被包括Netflix、Twitter和eBay等公司所采用，包括微软、IBM和甲骨文这样的公司都有Hadoop工具出售。目前，将Hadoop称为“成熟”的技术还为时尚早，这一点与任何大数据平台的情况类似，然而它确实已经得到了大型企业的采纳和验证。

这不意味着它是一种没有风险的平台，安全问题本身就是一个比较棘手的问题。但企业远不该就因此被Hadoop平台的年轻而吓跑。

4、要使用Hadoop，就得请一堆程序员。

取决于你要做的事情，这个说法或许是对的。如果你计划开发优秀的下一代Hadoop大数据套件，可能需要专业的Java和MapReduce编程人员。反过来，如果你愿意利用他人的成就，编程就不是一个问题。数据集成供应商Syncsort的建议分析师们利用Hadoop兼容的数据集成工具来运行高级查询，这样做无需任何编码工作。

大多数数据集成工具都有图形化界面，可以屏蔽MapReduce编程的复杂性，很多还带有预置的模板。此外，包括Alpine Data Labs、Continuuity和Hortonworks在内的创业型公司，还提供可以简化大数据和Hadoop应用的工具。

5、Hadoop不适合中小企业。

许多中小企业担心会被“大数据”的趋势拒之门外。IBM、甲骨文等大型厂商自然倾向于兜售大而昂贵的解决方案。这并不意味着市场上没有适合中小企业的相关工具。

云计算正在迅速推动一些尖端技术的大众化应用。“云计算正将资本支出转化为运营成本，”《大数据》的作者菲尔·西蒙指出。“你可以和Netflix利用相同的云服务。同样的事情也开始发生在大数据领域，一个只有五个员工的企业，照样可以使用Kaggle。”

Kaggle称自己为“在数据问题和数据方案间搭建桥梁的市场。”例如，创业公司Jetpac以5000美元悬赏一种算法，以找出最有吸引力的度假照片。多数度假照并不好，而从中筛选是一个繁琐，耗时的过程。

Jetpac让人手工评选出了30000张照片，并且寻求一种能够与人工方式类似，只是通过分析元数据(照片大小、标题，描述信息)来进行排序的算法。如果该公司自行开发这一算法，花的钱绝对不止5000美元。而且他们只能得到一种方案，而不是从各种方案中优选。Jetpac的图像处理工具，最终帮助其获得了240万美元的风投资金。

6、Hadoop比较便宜。

这个误解对任何开放源代码的软件都适用。省下最初的采购成本，并不意味着你一定会省钱。例如，云计算的问题之一就是，要在亚马逊平台上建立一个科研项目非常容易，以致于很多人都在AWS建立了自己的项目，在持续付费的同时，却忘了这些项目本身。

虚拟服务器的盲目扩张，已经使物理服务器的增加相形见绌。虽然Hadoop可以帮助你存储和分析数据，但你又如何将老的数据导入到新的系统中?如何实现数据的可视化?如何分享数据?对于这些会更多被大家分享的数据，你又如何去保护它?

Hadoop实际上一种东拼西凑的解决方案。你可以从Cloudera这样的公司获得完整的企业级解决方案，也可以着手建立自己高度定制化的解决方案。无论你选择的路线如何，都要认真做好预算，因为免费软件从来都不是真正免费的。

相关阅读：

Hadoop部署在RedHat Linux 5上常见错误及解决方案 http://www.linuxidc.com/Linux/2013-07/87080.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Hadoop+ZooKeeper+HBase集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13