首页 \ 问答 \ Hadoop与Spark的关系,Spark集群必须依赖Hadoop吗?

Hadoop与Spark的关系,Spark集群必须依赖Hadoop吗?

Spark集群也是构建在分布式系统上的,要用到HDFS上是吗?所以必须先搭建Hadoop吗?如果不是的话Spark应该怎么搭建,不用详细讲,就大概说说。最近搭建了Spark集群是在Hadoop集群上的,所以想了解一下他俩的区别
更新时间:2022-05-30 22:05

最满意答案

Spark编译的目前都是基于Scala 2.10.4的,安装Scala插件版本也是选择2.10.4,否则eclipse会报spark的jar包和scala版本不兼容的错误.

其他回答

(1)安装scala

在官网上下载scala,本人下载scala-10.04    http://www.scala-lang.org/download/all.html

其中windows下有两个版本。msi和exe,具体区别可百度查看。这边随便找了一个说明http://zhidao.baidu.com/link?url=7brlyefuyodkthwgcjlumobftqrmx1x0d3y3va_bvsvhrkwxfr3dmsmbw3jikxuf7iljpw_yjgzeq4skejkt39zb-tnydzx5cxli09ud8ek

建议下载msi,比较方便。

下载之后直接安装即可。

记住安装目录,比如本人安装在  d:\prosoftware\scala

修改环境变量

不同版本的windows界面不尽相同,进入环境变量之后,修改系统变量中的path变量,在最后加入

d:\prosoftware\scala\bin      注意,如果加入之前最后没有分号,记得手动加上分号,同时记得在scala目录之后加上\bin

修改完环境变量之后,运行cmd   输入 scala  -version   出现版本信息表示安装成功。

(2)安装eclipse的scala插件

在官网上下载ife   http://scala-ide.org/download/sdk.html

下载完直接解压就可以运行,打开解压好的eclipse

点击file->new ->scala project

填写project  name

右击文件夹,new-->scala object

填写名称 hello

然后增加代码

 def main(args :array[string]){
     println("hello world!");
    }

选中hello.scala,右击run as ->scala application

控制台输出结果

成功。

相关问答

更多
  • 有三种方式安装插件: 第一种:解压方式:从网上下载离线的插件压缩包,把压缩包里面的features和plugins两个文件夹里面的内容复制粘贴到eclipse安装目录中对应的features和plugins文件夹中,重启eclipse即可。 第二种:link方式安装: a>.把插件解压缩到eclipse的安装目录,保持目录结构为: %eclipse_home%\插件名\eclipse\features %eclipse_home%\插件名\eclipse\plugins b>.在eclipse安装目录中新建 ...
  • (1)安装scala 在官网上下载scala,本人下载scala-10.04 http://www.scala-lang.org/download/all.html 其中windows下有两个版本。msi和exe,具体区别可百度查看。这边随便找了一个说明http://zhidao.baidu.com/link?url=7BRlyeFUYodktHwGCjLUmOBFtqrMX1x0D3y3VA_BvSVhRkWXFR3dMSmbw3JIkxUF7IljpW_YjGzeQ4sKejKt39zb-tnYDzx5 ...
  • 表示用自带的IDLE 很好用 当然我也经常用VI来写python代码的 最近一直在用Sublime Text2 相当的好用 建议你可以尝试下
  • Spark编译的目前都是基于Scala 2.10.4的,安装Scala插件版本也是选择2.10.4,否则eclipse会报spark的jar包和scala版本不兼容的错误.
  • Myeclipse 安装所插件两种式种直接放 安装路径\eclipse\plugins种安装式重装 Myeclipse插件重新装 另外种利用link文件链接安装: 1插件包解压放 放某路径 \eclipse\plugins 文件夹(解压含plugins文件夹则直接放eclipse文件夹总要保证含\eclipse\plugins 形式路径)由于某路径用存放所插件所推荐规范些比我D:\plugin\axis_plugin\eclipse\plugins(plugin表示插件文件夹axis_plugin表示axi ...
  • (1)安装scala 在官网上下载scala,本人下载scala-10.04 http://www.scala-lang.org/download/all.html 其中windows下有两个版本。msi和exe,具体区别可百度查看。这边随便找了一个说明http://zhidao.baidu.com/link?url=7BRlyeFUYodktHwGCjLUmOBFtqrMX1x0D3y3VA_BvSVhRkWXFR3dMSmbw3JIkxUF7IljpW_YjGzeQ4sKejKt39zb-tnYDzx5 ...
  • DW挺好!可以去下载一个jquery的插件安装到dreamweaver上,自动提示!
  • IntelliJ IDEA的Scala插件有85%的Scala代码,所以是的,这是可能的。 你可以看看我们的配置: https : //github.com/JetBrains/intellij-scala与设置描述一起,你将能够为你的插件设置插件开发: http : //confluence.jetbrains.com/display/ SCA /设置+上+斯卡拉+插件+项目+中+的IntelliJ IDEA + Scala plugin for IntelliJ IDEA has 85% Scala c ...
  • 了解发生的事情的最好方法是通过OpenJDK网站直接访问源代码。 如果我们看一下com.sun.tools.javac.api.JavacTool public JavacTask getTask(Writer out, JavaFileManager fileManager, DiagnosticListener diagnosticListener, ...
  • 好的,似乎这个问题已在这里得到解答: https://devnet.jetbrains.com/message/5546566#5546566 Okay, it seems that this question has been answered here: https://devnet.jetbrains.com/message/5546566#5546566

相关文章

更多

最新问答

更多
  • 获取MVC 4使用的DisplayMode后缀(Get the DisplayMode Suffix being used by MVC 4)
  • 如何通过引用返回对象?(How is returning an object by reference possible?)
  • 矩阵如何存储在内存中?(How are matrices stored in memory?)
  • 每个请求的Java新会话?(Java New Session For Each Request?)
  • css:浮动div中重叠的标题h1(css: overlapping headlines h1 in floated divs)
  • 无论图像如何,Caffe预测同一类(Caffe predicts same class regardless of image)
  • xcode语法颜色编码解释?(xcode syntax color coding explained?)
  • 在Access 2010 Runtime中使用Office 2000校对工具(Use Office 2000 proofing tools in Access 2010 Runtime)
  • 从单独的Web主机将图像传输到服务器上(Getting images onto server from separate web host)
  • 从旧版本复制文件并保留它们(旧/新版本)(Copy a file from old revision and keep both of them (old / new revision))
  • 西安哪有PLC可控制编程的培训
  • 在Entity Framework中选择基类(Select base class in Entity Framework)
  • 在Android中出现错误“数据集和渲染器应该不为null,并且应该具有相同数量的系列”(Error “Dataset and renderer should be not null and should have the same number of series” in Android)
  • 电脑二级VF有什么用
  • Datamapper Ruby如何添加Hook方法(Datamapper Ruby How to add Hook Method)
  • 金华英语角.
  • 手机软件如何制作
  • 用于Android webview中图像保存的上下文菜单(Context Menu for Image Saving in an Android webview)
  • 注意:未定义的偏移量:PHP(Notice: Undefined offset: PHP)
  • 如何读R中的大数据集[复制](How to read large dataset in R [duplicate])
  • Unity 5 Heighmap与地形宽度/地形长度的分辨率关系?(Unity 5 Heighmap Resolution relationship to terrain width / terrain length?)
  • 如何通知PipedOutputStream线程写入最后一个字节的PipedInputStream线程?(How to notify PipedInputStream thread that PipedOutputStream thread has written last byte?)
  • python的访问器方法有哪些
  • DeviceNetworkInformation:哪个是哪个?(DeviceNetworkInformation: Which is which?)
  • 在Ruby中对组合进行排序(Sorting a combination in Ruby)
  • 网站开发的流程?
  • 使用Zend Framework 2中的JOIN sql检索数据(Retrieve data using JOIN sql in Zend Framework 2)
  • 条带格式类型格式模式编号无法正常工作(Stripes format type format pattern number not working properly)
  • 透明度错误IE11(Transparency bug IE11)
  • linux的基本操作命令。。。