Hadoop+SQL Server+Excel=大数据分析

　　几个月前，微软宣布了自己的用于大数据管理、分析和挖掘的Hadoop发布版HDInsight。InfoQ联系到了SQL Server的高级产品营销经理Val Fontama，希望进一步了解微软的企业级大数据到底如何。

　　关于企业中数据集规模的增长趋势：

　　数据的海洋一直在增长。有预测表明业务信息存储量每年都会加倍。例如，Gartner发现全世界的信息量每年在以最少59%的速率增长，而其中大约85%的数据是“非结构化”的——比如视频剪辑、RFID标签和网站日志。这些非结构化数据用传统的数据管理系统来处理并不容易。此外，在很多场景下，客户在实时收集新数据时发现数据增长速率还在增加。

　　客户将需要一个与业务及所收集数据的发展相适应的现代数据平台。对全球企业而言，大数据为从所收集数据（不管是结构化的还是非结构化的）中找到新颖可行的观点创造了大量商机。因为到最后，大数据的最大前景就是推动来自数据的、更智能的决策。而智能决策就要收集来自各类数据的观点。

　　HDInsight是微软应对大数据的解决方案：

　　微软希望通过支持Windows Server和Windows Azure的Hadoop发布版，提供可移植、性能优越、安全且易部署等特性，促进Hadoop的应用。微软还将通过在HDInsight中集成Active Directory来增强Hadoop的安全性。此举将使IT部门能够将同样的一致性安全策略用于包括Hadoop集群在内的所有IT资产。

　　此外，通过与System Center集成，HDInsight简化了Hadoop的管理，并支持IT部门在同一面板上管理Hadoop集群、SQL Server数据库和应用程序。

　　基于Hadoop的Windows平台应用程序集成了如Excel、Power View和PowerPivot等微软的商业智能（BI）工具，可以很容易地分析大量的业务信息，从而创造独特的、差异化的商业价值。

　　为实现与Apache Hadoop百分之百的兼容性，微软的Hadoop发布版HDInsight是基于Hortonworks Data Platform（HDP）构建的。因此，客户能够将其MapReduce作业从自己的Windows服务器移到云中，甚至是移到运行在Linux上的Apache Hadoop发布版中。目前还没有其他厂商提供该功能。此外，在Windows Server和Azure平台上提供这些功能，也使客户能够利用熟悉的工具（如Excel、PowerPivot for Excel和Power View）轻松地从数据中抽取可行的观点。

　　SQL Server如何适应这种解决方案：

　　在帮助企业处理大数据集方面，SQL Server 2012与SQL Server 2008最重要的区别之一就是与Hadoop的兼容性。Hadoop允许用户处理大量的结构化和非结构化数据并快速从中获得观点，而且，因为Hadoop是开源的，成本较低。Hadoop与SQL Server 2012兼容的特性是微软与Hortonworks合作开发的，微软最近也宣布Microsoft HDInsight Server和Windows Azure HDInsight Service已经可以预览，这都使用户能够使用微软开发的Hadoop连接器来从数据中获得最好的观点。通过Hive ODBC Driver把SQL Server连接到Hadoop，客户现在可以使用如PowerPivot和Power View等微软的BI工具在SQL Server 2012中分析各种类型的数据，包括非结构化数据。此外，利用SQL Server 2012中新的Data Quality Services，客户可以通过将原始数据转换为适于建模的可靠且一致的数据来提高数据质量。

　　微软最近宣布了Office 2013 中的一些新特性，并介绍了开发者应该如何利用这些特性来构建构建应用和处理数据的服务。不足为奇，微软自己在Excel正是利用这一点来提供大数据服务的：

　　Excel是微软平台上支持大数据分析的主要客户端工具之一。在Excel 2013中，我们的主要工具是数据建模工具PowerPivot和数据可视化工具Power View，而且恰好它们都构建进来了，无需额外下载。这支持各个层次的用户使用熟悉的Excel界面进行自助式BI分析。

　　通过Excel的Hive插件，我们的HDInsight服务很容易集成Office 2013中的BI工具，使用户能够用熟悉的工具轻松地分析海量的结构化或非结构化数据。

　　除了Excel之外，微软还提供了其他的大数据交互工具：BI专业人员可以使用BI Developer Studio来设计OLAP cube或在SQL Server Analysis Services中设计可伸缩的PowerPivot模型。开发者可以继续使用Visual Studio来开发和测试用.NET编写的MapReduce程序。最后，IT运维人员可以使用他们目前所使用的System Center来管理HDInsight上的Hadoop集群。

　　总的说来，微软的策略看起来是要为客户使用大数据提供一种最简单的方法——扩展现有工具（如SQL Server和Office等），使之能够无缝处理新数据类型，从而允许各公司在处理新业务时能利用原有投资。

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13