大数据玩家们对2013年趋势的预测

2019-03-28 13:15|来源: 网络

  本文来自ZDnet的记者Adrew Brust的博客文章。主要陈述大数据业内人士对2013年发展的预测和作者自己的一些观点。

  在大数据领域,虽然对技术产业的预测是不可缺少的,但是Adrew对宣传一个具体公司的计划明显缺乏兴趣,而且许多业内公司都把他们明年的计划发给了Adrew,所以他认为:如果能把这些2013年的预测整合一下,再融入自己的观点,将是一件非常有意思的事情。

  Hadoop的2013

  首先从Hadoop说起。做为大数据领域的代表技术,许多企业都把明年的计划聚焦在Hadoop之上。MapR的执行总监John Schroeder预测,“用户对Hadoop的优化将更注重硬件”。同时,Pervasive Software的技术总监Mike Hoskins也指出,“对企业友好的Hadoop技术市场将达到前所未有的高峰”。

  Adrew认为这两个预测都会发生,从整体上说,不仅是Hadoop本身本会得到迅猛的发展,同时Hadoop在多个数据中心中的配置和无缝集成技术也将成为热门。或许因为于此,MapR的Schroeder会说,“Hadoop的专业知识正在飞速增长,但是这方面优秀的人才仍然很缺乏”,他还预测,“基于SQL的Hadoop工具将会得到持续发展”。对于后面的这个预测我们没法提出反对的意见,因为仅仅在过去的一个季度里,这样的工具就取得了巨大的发展,并且目前的发展势头也有减弱。

  然而并不是所有的观点都一致。Rainstor自己就有基于SQL-Hadoop的混合产品,它预测一旦当企业需要对大数据进行管理,在明年将会寻找新技术,而不仅仅局限于Hadoop,这就和Pervasive的预测形成了强烈的对比,“MapR将占领传统数据仓库的市场,Hadoop将会成为大数据分析的不二选择”。

▲图:Big Data将会在2013发展到哪个阶段?

  Hadoop上层

  过去Hadoop已经给我们带来了许多微妙的预测。Rainstor预测,“企业的大数据热情将从底层研究中释放出来,他们会更多地关注一系列清晰的业务和技术。”MapR预测,“开源(增加收入)的应用将胜过节流应用”。其他公司的预测基本上都认为,明年的用户将会转移到成熟的更高层次的大数据模型之上。

  虽然他们是对的,但是从底层中转移出来并不容易,其中还有许多问题尚未解决。许多预测师似乎都有同感,普遍的说法是,Data Quality将会继续成为企业的烫手山芋”。Progress DataDirect的专家预测,“企业将会被他们自己的数据淹没,同时分散的数据也会带来新的麻烦。”这些预测似乎有点危言耸听,但是在商务智能的世界里,这些预测已经不新鲜了。如果说大数据的世界能避免这些问题,那恐怕只会是一场美好愿景下的炒作。一旦这些炒作过去,那些问题就会凸显,使你无法逃避。

  数据分析和虚拟化

  业界人士发给Adrew预测的并不只有Rainstor, Pervasive, MapR 和 Progress DataDirect。Adrew同样收到了关注市场分析的BlueKai和iOS数据虚拟的供应商Roambi的预测。他们的预测都是基于自己的服务,普遍涉及了用户这个主题,指出他们必然会遇到更多、更复杂的问题。

  例如Roambi提到,“有一半的业务数据没法利用到,这影响到了决策和预测的准确性”。BlueKai的执行总监Omar Tawakol指出,“有远见的品牌会重新评估他们的代理,基于最大化利用交叉频道听众的数据能力,去测量数据利用率和ROI。”

  降低复杂度

  大数据技术的落地将会有两个特点:一个是对MapReduce依赖越来越少,另外一个是会把Hadoop技术深入的应用到企业的软件架构中。

  对于第一个特点,Adrew指的是像Cloudera的Impala和微软的PolyBase这样的软件会得到充分发展,他们绕开了MapReduce,直接对存在HDFS中的数据进行处理。MapR预测基于SQL的工具将和上面的软件一起继续发展,Pervasive预测,“YARN正在改变Hadoop的游戏规则,它不仅允许在Hadoop上运行MapReduce应用,同时还允许其他类型的应用在其上面部署。”

  对于第二个特点,大规模的使用Hadoop是个必然趋势,渐渐的就会形成行业的标准,进而成为更有价值的软件基础,而不仅是自己内部使用。因此,Adrew认为我们会看到更多集成了Hadoop功能的商务智能和智能分析工具,这样我们对Hadoop专家的依赖就会逐渐降下来。

  拭目以待

  这些预言中哪些会成为现实,让我们一起拭目以待。

  原文链接:Big Data 2013: Industry Players’ Forecasts

相关问答

更多
  • 数据表明,近几年的大数据人才缺口已高达百万,远远满足不了市场的需求,数据统计,大数据工程师薪酬高于其他职位,工作一年后通常都会成为月薪10K以上的资深工程师或项目经理。在魔据教育应届毕业生培训完平均就业薪资在6K-10K左右,优秀的大数据学员可以达到15K以上。
  • 每个机构都不一样吧!我在金铭鼎学的JAVA大数据,学了Java基础语法、面向对象、JAVA集合框架、多线程编程与0.5并发包、XML解析、Java8、JVM生态下其他开发语言、JavaWeb开发、Hadoop、搭建Hadoop集群等等,太多了。
  • 没有更好。这个要取决于你的技术的深度。如果你的技术够好那就都行。如果想快速入门,就 python。这个好上手。
  • 大数据集群?[2022-07-12]

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 魔方(大数据模型平台) 大数据模型平台是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台,其采用分布式文件系统对数据进行存储,支持海量数据的处理。采用多种的数据采集技术,支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具,支持流程化的模型配置。通过第三方插件技术,很容易将其他工具及 ...
  • 大数据技术人员掌握的专业技术: Java语言基础: Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射,多线程、Swing程序与集合类; HTML、CSS与JavaScript: PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery应用; JavaWeb和数据库: 数据库、javaWeb开发核心、JavaWeb开发内幕; L ...
  • Hadoop之类的去看一下,还有大数据只是个概念具体技术还是要分的
  • 大项目一般是Oracle,DB2,比如银行项目。。 中型项目一般是:SQL SERVER. 中小型项目一般是:mysql ,免费的。
  • 你可以做一条线的最小二乘拟合 。 function LineFitter() { this.count = 0; this.sumX = 0; this.sumX2 = 0; this.sumXY = 0; this.sumY = 0; } LineFitter.prototype = { 'add': function(x, y) { this.count++; this.sumX += x; thi ...