知识点
相关文章
更多最近更新
更多Hadoop搭建以及实例演示
2019-03-28 13:01|来源: 网络
Hadoop搭建以及实例演示
1.下载jdk和hadoop,并解压至/opt
2.配置环境变量:gedit /etc/profile最后面添加:export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin"
3.配置在/opt/hadoop-0.20.2/conf下的3个文件: gedit hadoop-env.sh
打开java环境变量: export JAVA_HOME=/opt/jdk1.7.0_21
-------------------------------------------
gedit hdfs-site.xml 添加:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
--------------------------------------------
gedit mapred-site.xml添加:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/opt/temp</value>
</property>
----------------------------------------------
4.配置完成,可以在浏览器打开http://localhost:50070和http://localhost:50030进如管理监视界面。
5.从本地拷贝文件到hadoop:hadoop fs -mkdir /temp(创建文件夹)hadoop fs -copyFromLocal /opt/a.txt /temp/即可在浏览器界面查看刚刚考入的文件。
6.演示统计字符个数程序:[root@localhost hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount /achun/a.txt /tt
演示结果:
在程序临时创建的文件夹中生成结果文件,内容如下:
book 2
fuck 4
good 2
haha 2
hello 4
mask 2
master 2
yello 2
----------------------------------------------------------
原文如下:
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
相关问答
更多-
在docker中搭建hadoop集群有什么好方法配置ip[2024-01-02]
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,... -
Linux服务器上搭建hadoop[2022-04-09]
用不同的账号,当然可以。 我用相同的账号,搭建了两套环境,只要安装hadoop的目录不再同一个目录下就可以。然后就是注意你的/etc/profile尽量不要配置HADOOP_HOME的值,只配置JDK就可以了,不然可能会用冲突,不知道该去找哪个hadoop home 了。 -
在线等!!关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
hadoop集群搭建好了,接下来做什么[2022-06-17]
能做的太多了吧?这还愁方向?你可以看看机器学习的算法,然后用MapReduce实现。 -
hadoop搭建完全分布式完成,可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走: 一,依据示例程序,自己手写wordcount之类的示例程序,以此充分了解m/r和hdfs的简单原理。 二,针对某些知识点,如hadoop应用场景、hadoop的简单应用等,去百度一下搞定,这样的问题最关键、最需要做的。 三,深入阅读hadoop的源码,把框架的数据流或说工作流搞个大致清楚。 四,试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
想要搭建hadoop集群,想问一下应该配备什么样的硬件设备,顺便给出每个硬件设备的大概价格。[2023-09-12]
几台PC、一台交换机。根据你要搭建的集群各方面的性能选择配置,再决定价格。 -
把你编译后的hadoop源码丢到原来的hadoop集群环境中去 即覆盖hadoop安装目录下的原hadoop-core-xxx.jar 同样的所有节点都需要更新 然后重启集群
-
hadoop搭建完全分布式完成,可是不会用[2022-04-01]
搭建的文本,很久了,现在更新的最新版本搭建更加简单,建议你去看看黑马里边的教程,免费的 -
为什么搭建hadoop伪分布模式后data文件夹里什么文件也没有?[2022-03-05]
namenode中只保存元数据,到datanode的系统里看看数据文件。 也可以手动在配置文件中设置数据文件的路径,如: dfs.data.dir /home/hadoop/data -
搭建一个用于科研的hadoop平台,都需要些什么样的设备?[2022-04-26]
虚拟机。。。人家搞科研,这不科学吧。Hadoop特点就是可以部署在一些廉价的机器上,所以我觉得最主要是有一天强大的服务器来作为Hadoop的Namenode,DataNode的机器就随便点