首页 \ 问答 \ linux 用什么命令关机? 有什么参数? 怎么用?

linux 用什么命令关机? 有什么参数? 怎么用?

linux 用什么命令关机? 有什么参数? 怎么用?
更新时间:2021-11-01 09:11

最满意答案

第一步: 安装JDK
           因为 Hadoop 运行必须安装 JDK 环境,因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ,安装过程和在 Windows 环境中的安装步骤很类似,首先去Oracle 官网 去下载安装包,然后直接进行解压。我自己解压在路径 /usr/jvm 下面,假如你的安装包现在已经下载在 jvm 文件夹下面,然后 按 Ctrl+Alt+t 进去命令行,然后输入
cd  /usr/jvm
进入到jvm文件夹下面,然后再输入如下命令进行解压:
sudo tar  -zxvf  jdk-7u40-linux-i586.tar.gz

第二步: 配置环境变量
        解压结束以后,像在 Windows 系统中一样,需要配置环境变量,在 Ubuntu 中设置 环境变量的过程为打开文件 /etc/profile ,因为权限的问题,因此在命令行需要输入 的是

sudo gedit /etc/profile

然后在根据提示输入用户密码即可,然后在文件最下面添加如下:

export JAVA_HOME=/usr/jvm/jdk1.7.0_40

export CLASSPATH=".:$JAVA_HOME/lib:$JAVA_HOME/jre/lib$CLASSPATH"

export PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/hadoop/hadoop-1.2.1/bin:$PATH"

上面这三个以单词 export 开始的三个语句就类似于我们在 Windows 中的环境变量中设置一样,而且在这个里面和 Windows 中不同的是,在 Windows 中使用 “;” 号来表示分隔,但是在 Ubuntu 中是以 “:” 号来表示分隔。还需要注意的是,上面的路径都是我自己配置的时候的路径,因为我的 JDK 解压在 /usr/jvm 中,所以我的JAVA_HOME 设置的是那个路径,而且如果安装的 JDK 版本不同那么后面的也不一样。同理在 CLASSPATH 路径中也是因为我自己的安装路径进行设置的,因此在配置过程中需要读者注意。在 PATH 路径中最后面还将 Hadoop 的路径也添加了进去,因此在读者安装了 Hadoop 后也将这个路径添加进环境变量 PATH 中去。
        在配置完环境变量后,我们来将我们安装的 JDK 设置为 Ubuntu 系统默认的JDK ,因为之前系统里面自带 openjdk ,在命令行里面输入如下:

sudo update-alternatives  --install  /usr/bin/java  java  /usr/jvm/jdk1.7.0_40/bin/java 300
sudo update-alternatives  --install  /usr/bin/javac  javac  /usr/jvm/jdk1.7.0_40/bin/javac 300
sudo update-alternatives  --config  java

然后我们就可以在命令行输入 java -version 来进行察看 JDK 是否已经配置好了。

第三步: 安装Hadoop  
        我们可以去 Hadoop 官网上去下载安装包,我自己下载使用的是 hadoop-1.2.1.tar.gz ,然后当安装包下载结束后,将安装包解压到指定位置,我将安装包解压到了 /usr/hadoop 目录下面。
具体步骤是,像解压 JDK 一样,首先加入下载的 Hadoop 安装包在 /usr/hadoop 文件夹下面。然后在命令行下进入 /usr/hadoop 文件,类似于上面的。然后输入解压命令如下
sudo  tar  -zxvf  hadoop-1.2.1.tar.gz  
        后面的 Hadoop 安装包名称具体看你下载的版本,我下载的是1.2.1版本的。 为了以后操作 /usr/hadoop 文件夹里面的文件方便,我们设置一下文件夹的权限,在命令行输入如下
sudo  chown  -hR  long  /usr/hadoop
注意:在上面的命令中,long是我自己此时登陆的用户名,因此你需要将那个改成你自己的用户名。

第四步: 配置Hadoop环境变量
        在上面解压完 Hadoop 以后,现在我们来设置环境变量,其实在上面刚才我们配置 JDK 环境变量的时候,已经在 PATH 路径后面添加了 Hadoop 安装目录的 bin 目录的路径,所以那个就代表环境变量已经设置好了,但是读者一定要注意,不要 Copy,要明确自己的 Hadoop 安装路径来进行配置。

第五步: 设置SSH(安全外壳协议)
         推荐安装 OpenSSH , Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程,因此 SSH 是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是 Hadoop 没有区分开集群式和伪分布式,对于伪分布式, Hadoop 会采用与集群相同的处理方式,即按次序启动文件 conf/slaves 中记载的主机进程,只不过在伪分布式中 Salve 为 localhost 而已,所以对于伪分布式, SSH 是必须的。
       配置过程(首先确保连接上网络):
① 安装SSH,在命令行输入如下
sudo  apt-get install openssh-server

② 配置可以免密码登陆本机
         在命令行输入(注意其中的ssh前面还有一个 “ . ” 不要遗漏)

ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa 

(解释一下上面这条命令, ssh-keygen  代表生成密钥; -t  表示指定生成的密钥 类型; dsa  是 dsa 密钥认证的意思; -P  用于提供密语(接着后面是两个单引号, 不要打错); -f  表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的 .ssh 文件夹下创建 id_dsa 和 id_dsa.pub两个文件,这是 SSH 的一对私钥和公钥,把 id_dsa.pub (公钥)追加到授权的 key中去,输入如下命令:

cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

至此,免密码登陆本机已经配置完毕。
说明:一般来说,安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹,一般不会直接看到,除非安装好了以后,在命令行使用命令ls才会看到。

③ 输入 ssh  localhost ,显示登陆成功信息。

第六步: 配置Hadoop伪分布式模式
现在进入到安装 Hadoop 的文件夹,找到里面的 conf 文件夹,点击进去。
配置 hadoop 环境文件 hadoop-env.sh
        打开文件,找到某行有 ”# export JAVA_HOME = ...”  字样的地方,去掉 “#” ,然后在等号后面填写你自己的 JDK 路径,比如像我自己的 JDK 路径,那就改为了 如下所示
“export  JAVA_HOME=/usr/jvm/jdk1.7.0_40”

  配置 Hadoop 的核心文件 core-site.xml
打开文件,会发现标签 
 中是空的,在空的地方添加如下配置




            
 
  fs.default.name
 

            
 
  hdfs://localhost:9000
 

     





             
 
  dfs.replication
 

             
 
  1
 

     





              
 
  hadoop.tmp.dir
 

              
 
  /home/long/tmp
 

     


(注意:在最后一个value值中,上面是long,是因为那是我的用户名,所以你需要将那个修改为你自己的用户名)

  配置 Hadoop 中 MapReduce配置文件 mapred-site.xml
打开文件,会发现标签 
 中是空的,在空的地方添加如下配置



     
 
  mapred.job.tracker
 

     
 
  localhost:9001
 




第七步: 格式化Hadoop文件系统HDFS并启动Hadoop
        首次运行 hadoop 必须进行格式化 Hadoop 文件系统,以后运行即可跳过。打开命令行,进入安装了 Hadoop 的文件路径下,然后在命令行输入

bin/hadoop  namenode -format

格式化文件系统,然后启动 Hadoop ,在命令行里面输入

bin/start-all.sh

验证是否正常启动,在命令行里面输入 jps ,然后回车,如果在命令行里面出现如下类似画面(因为前面的数字可以不同)

3235 NameNode

4113 Jps

3819 JobTracker

4059 TaskTracker

3721 SecondaryNameNode

3487 DataNode

则说明已经正常启动。如果以后需要关闭 Hadoop 的话,在 Hadoop 安装的文件夹路径下面在命令行输入

bin/stop-all.sh

来关闭 Hadoop 。

第八步: 跑一个Hadoop中自带的WordCount程序,来体验一把
                   步骤如下(我在自己平台上的,读者可仿照实验):
                1)  准备一个文本文件
          首先我在桌面,新建了一个空白文档 test ,在里面输入一段话,或是几一些什么 单 词什么的,保存。

                 2)  将文本文件上传到 dfs 文件系统中的 input 目录下,打开命令行,进入到安装 hadoop 的文件夹下,然后输入如下

bin/hadoop  dfs  -copyFromLocal  /home/long/桌面/test  input

   (注:如果 dfs 中不包含 input 目录的话就会自动创建一个)

                 3)  然后在命令行中输入如下命令,执行 WordCount 程序

                 bin/hadoop  jar  hadoop-examples-1.2.1.jar  wordcount  input  output

(注:因为这个程序是 Hadoop 安装包里面自带的,就在 hadoop-examples-1.2.1.jar 中,后面的数字因为版本号的不同而不同,后面的 input 代表输入文件夹,output 代表输出文件夹 , 系统输出时会自动创建)
读者如果这个执行成功了,就会发现有很多输出信息,从屏幕上显示,当程序运行结束后。

                   4)  察看结果 在命令行里面输入

bin/hadoop  dfs  -cat  output/part-r-00000

 现在你就可以看见自己刚才输入文本里面的单词计数了。

至此,伪分布式搭建结束!

相关问答

更多
  • 1、能搭好环境说明水平还不错。 2、下边应该分以下几步走: 一,依据示例程序,自己手写wordcount之类的示例程序,以此充分了解m/r和hdfs的简单原理。 二,针对某些知识点,如hadoop应用场景、hadoop的简单应用等,去百度一下搞定,这样的问题最关键、最需要做的。 三,深入阅读hadoop的源码,把框架的数据流或说工作流搞个大致清楚。 四,试着用hadoop解决一些实际问题和项目应用。 参考下吧。
  • 0.关闭防火墙 service iptables start;#立即开启防火墙,但是重启后失效。 service iptables stop;#立即关闭防火墙,但是重启后失效。 重启后生效 chkconfig iptables on;#开启防火墙,重启后生效 chkconfig iptables off;#关闭防火墙,重启后生效 1.配置主机名 !!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动! 配置主机名 $vi /etc/sysconfig/network $sour ...
  • 第一步: 安装JDK 因为 Hadoop 运行必须安装 JDK 环境,因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ,安装过程和在 Windows 环境中的安装步骤很类似,首先去Oracle 官网 去下载安装包,然后直接进行解压。我自己解压在路径 /usr/jvm 下面,假如你的安装包现在已经下载在 jvm 文件夹下面,然后 按 Ctrl+Alt+t 进去命令行,然后输入 cd /usr/jvm 进入到jvm文件夹下面,然后再输入如下命令进行解压: sudo tar -zxvf jdk-7 ...
  • 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。   若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapred ...
  • 搭建的文本,很久了,现在更新的最新版本搭建更加简单,建议你去看看黑马里边的教程,免费的
  • Spark和Hadoop是完全两种集群。Spark是分布式计算框架,Hadoop是分布式计算/存储/调度框架。Spark可以无缝访问存在HDFS上的数据。   所以两个集群如何搭建是没有关系的。Spark只关心如何访问HDFS,就是  hdfs://namenode:port/能访问就行。   当然Spark作业提交到YARN那是另外一回事了。
  • 可以的 但是网络状况要好 伪分布式你在阿里云买一台就可已搭集群呢
  • 在 /usr/local/hadoop/ 下面启动,找到是/opt/Hadoop/下面的hadoop安装包,是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流,那里有好多学习hadoop的朋友
  • hadoop集群指的是一群机器在一起提供一个hadoop的集群的服务。 hadoop分布式指的是hadoop支持任务分布式运行,因为有hadoop集群提供服务,所以hadoop将任务分发到集群的多台机器运行,所以叫做分布式。 一个是服务器架构,一个是任务运行架构。
  • 要知道您是以独立还是伪分布模式运行hadoop,请验证您的配置文件。 以下信息可能有帮助。 To know if you are running hadoop in Standalone or Pseudo distributed mode, verify your configuration files. Below information might help.

相关文章

更多

最新问答

更多
  • 获取MVC 4使用的DisplayMode后缀(Get the DisplayMode Suffix being used by MVC 4)
  • 如何通过引用返回对象?(How is returning an object by reference possible?)
  • 矩阵如何存储在内存中?(How are matrices stored in memory?)
  • 每个请求的Java新会话?(Java New Session For Each Request?)
  • css:浮动div中重叠的标题h1(css: overlapping headlines h1 in floated divs)
  • 无论图像如何,Caffe预测同一类(Caffe predicts same class regardless of image)
  • xcode语法颜色编码解释?(xcode syntax color coding explained?)
  • 在Access 2010 Runtime中使用Office 2000校对工具(Use Office 2000 proofing tools in Access 2010 Runtime)
  • 从单独的Web主机将图像传输到服务器上(Getting images onto server from separate web host)
  • 从旧版本复制文件并保留它们(旧/新版本)(Copy a file from old revision and keep both of them (old / new revision))
  • 西安哪有PLC可控制编程的培训
  • 在Entity Framework中选择基类(Select base class in Entity Framework)
  • 在Android中出现错误“数据集和渲染器应该不为null,并且应该具有相同数量的系列”(Error “Dataset and renderer should be not null and should have the same number of series” in Android)
  • 电脑二级VF有什么用
  • Datamapper Ruby如何添加Hook方法(Datamapper Ruby How to add Hook Method)
  • 金华英语角.
  • 手机软件如何制作
  • 用于Android webview中图像保存的上下文菜单(Context Menu for Image Saving in an Android webview)
  • 注意:未定义的偏移量:PHP(Notice: Undefined offset: PHP)
  • 如何读R中的大数据集[复制](How to read large dataset in R [duplicate])
  • Unity 5 Heighmap与地形宽度/地形长度的分辨率关系?(Unity 5 Heighmap Resolution relationship to terrain width / terrain length?)
  • 如何通知PipedOutputStream线程写入最后一个字节的PipedInputStream线程?(How to notify PipedInputStream thread that PipedOutputStream thread has written last byte?)
  • python的访问器方法有哪些
  • DeviceNetworkInformation:哪个是哪个?(DeviceNetworkInformation: Which is which?)
  • 在Ruby中对组合进行排序(Sorting a combination in Ruby)
  • 网站开发的流程?
  • 使用Zend Framework 2中的JOIN sql检索数据(Retrieve data using JOIN sql in Zend Framework 2)
  • 条带格式类型格式模式编号无法正常工作(Stripes format type format pattern number not working properly)
  • 透明度错误IE11(Transparency bug IE11)
  • linux的基本操作命令。。。