IT企业利用云计算平台Hadoop的10种方式

2019-03-28 13:42|来源: 网络

如果你是世界上广大Hadoop用户的一员,你肯定知道Google曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二Yahoo的专用产品了,从Hadoop长长的用户名单中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。国内的公司有淘宝、百度等等。而今天我们要探讨的是,Hadoop 作为基础云计算平台,除了广告,IT公司还用哪些方式在利用Hadoop。

1. 在线旅游

云计算供应商Cloudera COO Kirk Dunn 表示,目前上80%的世界在线旅游使用了Cloudera 的Hadoop服务。他没有透露具体的名单,但著名的Orbitz Worldwide是我知道的客户之一。

2. 移动数据

目前Cloudera为美国70%的智能手机提供Hadoop支持,我们可以确定Dunn讲的是无限供应商支持的移动数据储存和处理。

3. 电子商务

Dunn 表示Cloudia为美国超过1000万在线商家提供Hadoop服务,eBay是他们的一个大客户, 因为其要管理一个庞大的个人卖家市场,卖家数量达到1000万以上。而Ebay在用Hadoop服务90天后,纯利润增加了3%。

4. 能源发现

雪佛龙代表解释了他们公司利用Hadoop的实例:通过分类和处理海洋地震数据可以预测石油储备状况。

5. 节能

雪佛龙代表同时还表示Hadoop还用在节能上,雪佛龙利用Hadoop来支持其节能系统,顾客们按照系统提示节能的同时也节省了不少钱。而相关人士甚至表示这个理念可以用到精确和长期的基金预测上。

6. 基础架构管理

越来越多的IT公司在收集和分析他们的服务器数据,在Cloudera讨论会上, NetApp代表表示他们公司利用Hadoop技术从全部的安装点上收集设备logs(超过千万亿的logs数量)。

7. 图片处理

创业公司“Skybox图片”正是利用Hadoop来储存和处理图片的,这些图片是卫星根据地理变化的模式有规律地抓取的高清图片。Skybox最近获得了7000万美元的融资。

8. 欺诈识别

这是个经典实用的话题,这在财政机构和情报机构非常有市场。Cloudera客户之一Zions Bancorporation表示他们利用Hadoop储存一切可能预示欺骗性的用户交易和异常情况数据。

9. IT安全

除了基础架构管理,IT公司们也开始用Hadoop来处理恶意软件和网络攻击数据。去年Trust

就用hadoop为各种IP评定分数,然后各大公司就可以决定是否接受那些恶意IP的来访。

10. 医疗健康

Hadoop定义:

1. 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

2. Hadoop是一套开源的、基础是Java的、目前能够让数千台普通、廉价的服务器组成一个稳定的、强大的集群,使其能够对pb级别的大数据进行存储、计 算。已经具有了强大稳定的生态系统,也具有很多使用的延伸产品。比如做查询的Pig, 做分布式命名服务的ZooKeeper, 做数据库的Hive等等。

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

相关问答

更多
  • hadoop云计算[2023-12-23]

    Hadoop是由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求( ...
  • hadoop本来带的单词统计的例子就可以测试了,呵呵搭建环境得一步步来呀,楼上说的对,你这问题太笼统了,应该这么:1、XP或Win7下如何安装VMWare虚拟机,这个安装好后装linux系统。2、虚拟机安装linux系统(ubuntu、redhat、fedora等等选择一个安装)。3、假如安装的是redhat系统,搜下redhat下安装hadoop(官网下载hadoop的一个版本)。4、测试hadoop环境,安装步骤最后就会告诉你怎么测试单词统计的例子。一步步来吧!这些环境的配置看你想在几个节点上搭建环境, ...
  • 云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台 云计算平台是云计算时代兵家争夺激烈的地方。 1.开源云计算平台 (1)AbiCloud(Abiquo公司) AbiCloud是一款用于公司的开源的云计算平台,使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用、存储设备等) (2)Hadoop(Apache基金会) 该计划是完全模仿Google体系架构做的一个开源项目,主要包括Map/ ...
  • 先安装JDK和JRE;然后Cygwin;再开启SSHD服务,之后便可以配置搭建Hadoop云平台。在云平台搭建好之后,安装Eclipse,并将Hadoop-eclipse开发插件包嵌入Eclipse。此后便可以通过eclipse连接Hadoop云平台,并实现其上的二次开发。具体的文件上传与下载都可以通过HDFS提供的API实现。
  • hadoop本来带的单词统计的例子就可以测试了,呵呵搭建环境得一步步来呀,楼上说的对,你这问题太笼统了,应该这么:1、XP或Win7下如何安装VMWare虚拟机,这个安装好后装linux系统。2、虚拟机安装linux系统(ubuntu、redhat、fedora等等选择一个...
  • 先安装JDK和JRE;然后Cygwin;再开启SSHD服务,之后便可以配置搭建Hadoop云平台。在云平台搭建好之后,安装Eclipse,并将Hadoop-eclipse开发插件包嵌入Eclipse。此后便可以通过eclipse连接Hadoop云平台,并实现其上的二次开发。具体的文件上传与下载都可以通过HDFS提供的API实现。
  • hadoop本来带的单词统计的例子就可以测试了,呵呵搭建环境得一步步来呀,楼上说的对,你这问题太笼统了,应该这么:1、XP或Win7下如何安装VMWare虚拟机,这个安装好后装linux系统。2、虚拟机安装linux系统(ubuntu、redhat、fedora等等选择一个安装)。3、假如安装的是redhat系统,搜下redhat下安装hadoop(官网下载hadoop的一个版本)。4、测试hadoop环境,安装步骤最后就会告诉你怎么测试单词统计的例子。一步步来吧!这些环境的配置看你想在几个节点上搭建环境, ...
  • 你好,王家林老师讲解的spark和hadoop确实在国内是首屈一指的,我们公司5月份专门邀请过王家林老师来给公司的员工解决技术上的难点,员工反映王老师讲解的课程非常好。公司准备7月份再次邀请王家林老师来讲解spark课程。你可以在7月份邀请王家林老师。
  • 中国移动的信令平台也用了Hadoop技术。目前已经在江苏省上线的Mc+Abis口信令共享平台,就是由珠海世纪鼎利承建的基于Hadoop框架的云平台。 事实上,只要满足:海量数据、一次写入多次读取、非高实时性要求的场景,都适合用hadoop处理。
  • 私有云是企业或者个人自己拥有的云服务器,并且服务器不对外开放,仅供自己公司内部人使用,这从某种意义上来说降低了泄密的风险,比公有云更安全。