知识点
相关文章
更多最近更新
更多Hadoop的tasktracker启动失败,重编译native库
2019-03-28 13:41|来源: 网络
Hadoop的datanode启动失败,只能启动datanode进程,而tasktracker则未能启动,查看HADOOP HOME下的hs_err_pid*文件,错误如下:
- # A fatal error has been detected by the Java Runtime Environment:
- #
- # SIGFPE (0x8) at pc=0x0000003995f07827, pid=32635, tid=1076017504
- #
- # JRE version: 6.0_32-b03
- # Java VM: Java HotSpot(TM) 64-Bit Server VM (20.7-b02 mixed mode linux-amd64 compressed oops)
- # Problematic frame:
- # C [ld-linux-x86-64.so.2+0x7827]
- #
- # If you would like to submit a bug report, please visit:
- # http://java.sun.com/webapps/bugreport/crash.jsp
- # The crash happened outside the Java Virtual Machine in native code.
- # See problematic frame for where to report the bug.
根据这位仁兄的思路:http://www.linuxidc.com/Linux/2012-03/56334.htm
下载ant,重新编译hadoop的native库,把HADOOP HOME下:
build/native/Linux-amd64-64/lib
的所有文件,拷贝到HADOOP HOME的:
lib/native/Linux-amd64-64/
跟着修改core-site.xml,增加以下变量:
- <property>
- <name>hadoop.native.lib</name>
- <value>true</value>
- </property>
tasktracker就能正常启动。如果还是启动失败,可以看看gcc的版本,若gcc版本低于4.1则可能是gcc的问题,升级gcc的方法,见《RedHat AS 4 成功升级最新Gcc》http://www.linuxidc.com/Linux/2012-06/62590.htm
相关问答
更多-
HADOOP MapReduce的tasktracker问题[2022-10-29]
首先,一个job具体启动多少个map,是由你配置的inputformat来决定的。inputformat在分配任务之前会对输入进行切片。最终启动的map数目,就是切片的结果数目。具体来看 一、如果使用是自定义的inputformat,那么启动多少个map,是由你实现的public InputSplit[] getSplits(JobConf job, int numSplits)方法决定的,返回的切片有多少个就启动多少个map任务。 二、如果是使用系统系统的TextInputFormat(或FileInpu ... -
你的是哪个版本的,Hadoop2.0及之后版本都是没用jt和tt的,具体网上了解
-
hadoop为什么会出现no tasktracker to stop的错误[2023-08-12]
因为Hadoop-B上的MapReduce服务没启动的起来。 你可以查下Hadoop-B上的tasktracker日志,看有没有报错。 -
默认情况下,2.4.x安装中没有map reduce的配置文件,即使有一个名为mapred-site.xml.template的文件。将文件重命名为mapred-site.xml并记住设置属性mapred.framework。命名为classic以使用作业跟踪器和tasktracker。也不能使用启动脚本start-all.sh,因为它执行脚本start-dfs.sh和start-yarn.sh.You需要执行启动jobtracker和脚本的脚本的TaskTracker。 By default there ...
-
没有JobTracker和TaskTracker了。 我们有NodeManager和resourceManager。 在这里你刚开始dfs服务没有启动纱线服务,启动纱线服务运行start-yarn.sh然后只有纱线相关服务才会启动。 如果你想启动所有服务运行start-all.sh (不是一个好习惯) There is no JobTracker and TaskTracker anymore. We have NodeManager and resourceManager. Here you just s ...
-
Hadoop集群中tasktracker的UnknownHostException(UnknownHostException on tasktracker in Hadoop cluster)[2022-12-06]
此博客文章可能会有所帮助: http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html 简而言之,即使您在配置文件中指定IP地址,Hadoop也会执行反向主机名查找。 在您的环境中,为了使Hadoop正常工作,SSP-SANDBOX-1.mysite.com必须解析为该机器的IP地址,并且该IP地址的反向查找必须解析为SSP-SANDBOX-1.mysite .COM。 因此,您需要与管理这些计 ... -
修改/etc/hosts以包含主机名环回映射: 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 127.0.1.1 is-joshbloom-hadoop ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 您的问题是您的机器不知道如何解析主机名is-joshbloom-hadoop到特定 ...
-
现在我知道如何处理它...首先升级dfs! Now I know how to deal with it... upgrade the dfs first!
-
如果您使用的是具有YARN框架的Hadoop 2.2.0,则其中没有jobtracker 。 它的功能被拆分并由ResourceManager和ApplicationMaster取代。 这是运行YARN时预期的jps打印输出 $jps 18509 Jps 17107 NameNode 17170 DataNode 17252 ResourceManager 17309 NodeManager 17626 JobHistoryServer If you are using Hadoop 2.2.0 whic ...
-
如何将hadoop节点设置为tasktracker而不是datanode(how to setup a hadoop node to be a tasktracker but not a datanode)[2023-03-23]
您必须为namenode设置主机排除文件。 在core-site.xml中进行此编辑:dfs.hosts.exclude YOUR_PATH_TO_THE_EXCLUDE_FILE