Redis,Memcache和MongoDB的区别
更新时间:2023-09-30 12:09
最新回答
在Windows上安装与配置Spark 本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。 (1)安装JDK 相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的,用户应该下载整个JDK。 安装过程十分简单,运行二进制可执行文件即可,程序会自动配置环境变量。 (2)安装Cygwin Cygwin是在Windows平台下模拟Linux环境的一个非常有用的工具,只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。 1)运行安装程序,选择install from internet。 2)选择网络最好的下载源进行下载。 3)进入Select Packages界面(见图2-2),然后进入Net,选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。 另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。 最后需要配置环境变量,依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令,更新环境变量中的path设置,在其后添加Cygwin的bin目录和Cygwin的usr\bin两个目录。 (3)安装sshd并配置免密码登录 1)双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令,出现如图2-3所示的界面。 2)执行后,提示输入密码,否则会退出该配置,此时输入密码和确认密码,按回车键。最后出现Host configuration finished.Have fun!表示安装成功。 3)输入net start sshd,启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。 注意,如果是Windows 8操作系统,启动Cygwin时,需要以管理员身份运行(右击图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。 (4)配置SSH免密码登录 1)执行ssh-keygen命令生成密钥文件,如图2-4所示。 2)执行此命令后,在你的Cygwin\home\用户名路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,通过ssh -version命令查看版本。 3)执行完ssh-keygen命令后,再执行下面命令,生成authorized_keys文件。 cd ~/.ssh/ cp id_dsa.pub authorized_keys 这样就配置好了sshd服务。 (5)配置Hadoop 修改和配置相关文件与Linux的配置一致,读者可以参照上文Linux中的配置方式,这里不再赘述。 (6)配置Spark 修改和配置相关文件与Linux的配置一致,读者可以参照上文Linux中的配置方式,这里不再赘述。 (7)运行Spark 1)Spark的启动与关闭 ①在Spark根目录启动Spark。 ./sbin/start-all.sh ②关闭Spark。 ./sbin/stop-all.sh 2)Hadoop的启动与关闭 ①在Hadoop根目录启动Hadoop。 ./sbin/start-all.sh ②关闭Hadoop。 ./sbin/stop-all.sh 3)检测是否安装成功 正常状态下会出现如下内容。 -bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker 如缺少进程请到logs文件夹下查看相应日志,针对具体问题进行解决。
需要 1. 到scala 官方网站下载,我使用的版本为scala-2.11.4.tgz 2. 解压:tar –zvxf scala-2.11.4 –c /usr/local/program/scala/ 在etc/profile中增加环境变量scala_home,并使之生效: export scala_home=/usr/local/program/scala/ scala-2.11.4 export path=$path:$scala_home/bin
相关问答
更多-
java环境变量如何设置[2020-11-04]
依次点击:“我的电脑”-(右键)“属性”-“高级”-“环境变量”,弹出Windows的“环境变量”配置卡。 在“系统变量”栏下执行三项操作: ①新建“Java_Home”,值:JDK所在的绝对路径(例如 D:\Program Files\Java\jdk1.5.0_04)。 ②新建“Classpath”(如果已有,则直接编辑),值: .;%Java_Home%\lib (若值中原来有内容,用分号与之隔开)。 ③新建“Path”(如果已有,则直接编辑),值: %Java_Home%\bin; (若值中原来有内 ... -
Java环境变量的怎么设置[2022-06-01]
1:配置过程中请注意红色部位 安装完JDK后配置环境变量 计算机→属性→高级系统设置→高级→环境变量2:系统变量→新建 JAVA_HOME 变量 。 变量值填写jdk的安装目录(本人是 D:\Java\jdk1..0) 3:系统变量→寻找 Path 变量→编辑 在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; (注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码) 4:系统变量→新建 CLASSPATH 变量 变量值填写 .;%JAVA_H ... -
java环境变量设置?Java环境变量怎么设置?[2022-07-31]
java环境变量设置: 1.打开我的电脑--属性--高级--环境变量 2.新建系统变量JAVA_HOME 和CLASSPATH 变量名:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.7.0 变量名:CLASSPATH 变量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; 3. 选择“系统变量”中变量名为“Path”的环境变量,双击该变量,把JDK安装路径中bin目录的绝对路径,添加到Path变量的值中,并使用半角的 ... -
mysql环境变量怎么设置[2022-03-15]
您好,您这样: 1、对于命令控来说,在cmd命令下行下操作很方便,但有时需要直接在命令行床空执行mysql这样的命令,会出现”mysql不是内部或外部命令“这样的错误提示,原因是mysql其实是一个exe文件,存放于myql安装路径/bin下,因此需要将mysql的安装路径配置到path环境变量中,如此以后就不用每次都cd到mysql路径下了; 2、设置完成后我们再试试看-cmd-->mysql 已经连接上mysql了,接下来我们可以使用dml、sql语言来创建我们自己的数据库了; 3、首先,要创建一个数据 ... -
java 设置环境变量有啥用?[2023-12-01]
呃。。设置环境变量是在命令行里运行的时候才能用的到的 没配置的时候你在命令行里输入java会出现java不是内部火外部命令。。。。 如果你不想配置的话的话,必须先在命令行里把你的目录定位到jdk的bin目录下。 才能编译和运行你的程序。eclipse这样的工具需要也是找到jdk的安装路径。所以才能运行的。 -
tomcat环境变量设置[2022-04-08]
只要配置java环境变量即可 JAVA_HOME ------------ C:\Program Files\Java\jdk1.5.0_06(jdk的路径) PATH ----------------- %JAVA_HOME%\bin; CLASSPATH ------------ .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar tomcat 不用设置环境变量啊 -
补充一下: 其中path环 境变 量是指OS查找或执行的应用程序的路径,就是用来指出javac.exe,java.exe等所在的位置 而classpath环 境变 量的作用在于当Java虚拟机在当前目录下查找或运行.class字节码文件,如果没有找到就在classpath环 境变 量中设置的路径中去找,并且以最先找到的为准。 这下明白了吧!!! JAVA中常用需要设置的三个环 境变量: 1. JAVA_HOME=x:\jdk1.6.0 JAVA_HOME 2. 用%JAVA_HOME%就可以取代:x:\jd ...
-
环境变量设置[2022-11-27]
环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量,当要求系统运行一个程序而没有告诉它程序所在的完整路径时,系统除了在当前目录下面寻找此程序外,还应到path中指定的路径去找。用户通过设置环境变量,来更好的运行进程。 环境变量一般是指在操作系统中用来指定操作系统运行环境的一些参数,比如临时文件夹位置和系统文件夹位置等。 -
XP关于 java的环境变量设置[2023-08-03]
Windows下JAVA环境变量的设置祥解 Windows下JAVA用到的环境变量主要有3个,JAVA_HOME、CLASSPATH、PATH。下面逐个分析。 JAVA_HOME指向的是JDK的安装路径,如x:\JDK_1.4.2,在这路径下你应该能够找到bin、lib等目录。值得一提的是,JDK的安装路径可以选择任意磁盘目录,不过建议你放的目录层次浅一点,如果你放的目录很深,比如x:\XXXX\xxxx\XXXX\xxxx\XXXX\xxxx\XXXX\xxx…… 那么,下面的步骤和以后的应用你都要受累了 ... -
spark.executorEnv.[EnvironmentVariableName] 用于 (强调我的): 将EnvironmentVariableName指定的环境变量添加到Executor进程 。 它在驱动程序中不可见,不包括org.apache.spark.SparkConf 。 要使用System.getenv访问它,您可以在正确的上下文中执行它,例如从任务: sc.range(0, 1).map(_ => System.getenv("FOO")).collect.foreach(println ...