知识点
相关文章
更多最近更新
更多Hadoop配置文件配置项定义
2019-03-28 14:22|来源: 网络
Hadoop配置文件配置项定义:
0. 版本
0.19.2
1. hadoop cluster组成
1.1. HDFS
1.1.1 Name Node (1台)
1.1.2 Secondary Name Node (1台, 可选)
1.1.3 Data Node (若干台)
1.2. MR
1.2.1 Master [JobTracker] (1台)
1.2.2 Slave [TaskTracker] (若干台)
2. 配置文件
2.1 hadoop-default.xml
hadoop集群的默认配置, 通常不需要修改这个配置文件.
2.2 hadoop-site.xml
hadoop集群里面的机器个性化配置文件, 通常在这里指定机器的个性化配置.
3. 配置项
3.1 fs.default.name
定义: Name Node的URI
描述: hdfs://hostname/
3.2 mapred.job.tracker
定义: JobTracker的地址
描述: hostname:port
3.3 dfs.name.dir
定义: Name Node 保存元数据和事务日志的本地目录
描述: 逗号分隔的目录列表用于指定多份数据的冗余备份.
3.4 dfs.data.dir
定义: Data Node 保存块文件的本地目录
描述: 逗号分隔的目录列表指定这些目录用于保存块文件.
3.5 mapred.system.dir
定义: HDFS上MapReduce保存系统文件的目录.
描述:
3.6 mapred.local.dir
定义: 保存MapReduce临时文件的本地目录
描述: 逗号分隔的目录列表用于指定多个目录同时做为临时数据空间
3.7 mapred.tasktracker.{map|reduce}.tasks.maximum
定义: TaskTracker上最多能够同时运行的map/reduce task数目.
描述: 默认map/reduce task数目各为2.
3.8 dfs.hosts/dfs.hosts.exclude
定义: Data Node白名单/黑名单文件
描述:
3.9 mapred.hosts/mapred.hosts.exclude
定义: MapReduce白名单/黑名单文件
描述:
3.10 mapred.queue.names
定义: 队列名
描述: hadoop MapReduce系统默认有一个"default"的Job队列(pool).
3.11 dfs.block.size
定义: hdfs默认块大小
描述: 默认是128M
3.12 dfs.namenode.handler.count
定义: namenode同时和datanode通信的线程数
描述:
3.13 mapred.reduce.parallel.copies
定义: reducer同时从mapper上拉取的文件数
描述:
3.14 mapred.child.java.opts
定义: child jvm的堆大小
描述:
3.15 fs.inmemory.size.mb
定义: reducer在合并map输出数据使用的内存空间
描述: 默认使用200M
3.16 io.sort.factor
定义: 排序因子。同时合并的数据流的数量
描述:
3.17 io.sort.mb
定义: 排序使用的最大内存
描述:
3.18 io.file.buffer.size
定义: 读写文件的缓冲区大小
描述:
3.19 mapred.job.tracker.handler.count
定义: jobtracker同时与tasktracker通信的线程数
描述:
3.20 tasktracker.http.threads
定义: tasktracker开http服务的线程数。用于reduce拉取map输出数据。
描述:
相关问答
更多-
请问springboot怎么配置sqlserver的配置文件[2024-03-12]
在springboot配置sqlserver文件步骤如下: 1、打开项目配置文件 application.properties。 2、这里推荐一个新的写项目属性配置文件的:application.yml。优点在于它不用重复写代码。 3、这二者选一即可,因而我用了application.yml就把application.properties删除了。 4、特别注意语法:每个冒号后面是有空格的。当然这里eclipse也通过颜色对这个语法进行了提示。 5、特别注意语法:每个冒号后面是有空格的。当然这里eclipse ... -
windows下redis配置文件是哪个[2022-11-25]
Windows版的Redis有2个配置文件,一个是:redis.windows.conf,另一个是redis.windows-service.conf。 -
windows下redis配置文件是哪个[2023-03-14]
Windows版的Redis有2个配置文件,一个是:redis.windows.conf,另一个是redis.windows-service.conf。 -
VB写配置文件[2021-11-27]
Dim s As String On Error Resume Next s = CurDir If Right(s, 1) <> "\" Then s = s & "\" End If Open s & "文件名.exp" For Output As #1 Print #1, '第1行内容 Print #1, '第2行内容 Print #1, '第3行内容 Print #1, '第4行内容 Print #1, '第5行内容 Close #1 End -
程序放在Hadoop下运行,需要一些配置文件,该怎么加入[2021-12-27]
不知道你所说的配置文件是什么确切含义,如果是运行程序执行所需要的一些文件,直接将这些配置文件打到运行的jar包里就可以了,或者做成相应的jar直接放到hadoop的lib里去 -
JAVA零配置读取配置文件[2022-08-03]
package resources; import java.io.IOException; import java.io.InputStream; import java.sql.Connection; import java.sql.Driver; import java.sql.SQLException; import java.util.Properties; public class DbUtil { public static Connection getConnection(){ String ... -
hadoop的核心配置文件有哪些[2022-10-22]
在hadoop1中核心组成部分是HDFS、MapReduce,到了Hadoop2,核心变为HDFS、Yarn,而且新的HDFS中可以有多个NameNode,每个都有相同的职能。 以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下: 配置文件无非就这几个文件: 1、hadoop-env.sh: 只需设置jdk的安装路径,如:export JAVA_HOME=/usr/local/jdk 2、core-site.xml: (1)fs.defaultFS: ... -
hadoop的配置文件在什么地方[2023-04-13]
hadoop-2.x在$HADOOP_HOME/etc/hadoop目录下 hadoop-1.x在$HADOOP_HOME/conf目录下 -
ubuntu中安装hadoop,配置文件出现问题,求救,十万火急!!!!![2024-02-21]
你试试 sudo update-alternatives --config java 能看看你的jdk到底是什么版本 比如我的是/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 那么我的JAVA_HOME就是”/usr/lib/jvm/java-7-openjdk-amd64". 你的也可能是java-7-openjdk-i386也说不定 所以我怀疑你直接写java-6-oepnjdk会有问题 -
关于hibernate的配置文件[2023-09-07]
配置文件中映射元素详解 对象关系的映射是用一个XML文档来说明的。映射文档可以使用工具来生成,如XDoclet,Middlegen和AndroMDA等。下面从一个映射的例子开始讲解映射元素,映射文件的代码如下。 <?xml version="1.0"?> <!-- 所有的XML映射文件都需要定义如下所示的DOCTYPE。 Hibernate会先在它的类路径(classptah)中搜索DTD文件。 --> <!DOCTYPE hibernate-mapping PUBLIC "-//Hibernate/Hib ...