Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误

2019-03-28 14:08|来源: 网络

Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误.

该错误一般和主机名有关,首先要保证自定义的/etc/hosts中的别名和hostname一致。如果的DNS或hostname配置不当,导致Hadoop去Internet找域名服务器,而使用错误的域名。域名服务配置,特别是下列文件,DNS相关配置最好使用IP而不使用字母形式域名,避免错误的域名解析。

/etc/network/interfaces

/etc/resolv.conf

网路服务重启:

/etc/init.d/networking restart

相关问答

更多
  • WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.看到警告了没? 你的代码有问题。 所有的map task已完成,证明你的map class没有问题, reduce task failed (reduce task ID: attempt_201312060554_0003_r_000000_0),证明你的redu ...
  • 使用Firebase CLI,您可以部署特定功能,如下所示: firebase deploy --only functions:function1,function2,function3...,function20 With the Firebase CLI you can deploy specific functions like so: firebase deploy --only functions:function1,functions:function2,functions:function3. ...
  • 显然返回一个FileInfo obj对于JsonResult是不可接受的。 简化回报,我将其更改为: return Json("helloWorld"); 我所有的问题都消失了。 不知道为什么它关心我试图返回一个FileInfo类型但是当我改变它以返回一个字符串时,问题解决了。 所以现在我只创建一个小包装器类来保存我想要传回的数据并且生活很好。 谢谢! 希望这有助于其他人。 Apparently returning a FileInfo obj is not acceptable for a JsonR ...
  • 看起来您的查询在我们的配置中遇到了一个极端情况 - 如果它稍大一点,那就没问题了,如果它稍微小一点,那也没关系。 我们已经得到了解决方案 - 希望我们今天可以解决这个问题,但由于本周的感恩节假期,它可能需要等到周一。 It looks like your query is hitting a corner case in our configuration -- if it was a little bit larger, it would be fine, and if it was a little b ...
  • 正如@zdegenr已经说过的那样,我也经历过每24小时只能创建大约50个权限。 我可以通过sendNotificationEmails参数禁用发送通知电子邮件来解决此问题: https : //developers.google.com/drive/v2/reference/permissions/insert 。 有了这个配置,我不再满足配额...... As already stated by @zdegenr, I also experienced that you can only create ...
  • 花了一段时间,但我在这里找到了解决方案。 将HADOOP_CLIENT_OPTS="-Xmx1024M"到命令可以解决问题。 最终的命令是: HADOOP_CLIENT_OPTS="-Xmx1024M" hadoop jar hadoop-streaming.jar -D stream.tmpdir=/tmp -input "" -output "" -mapper "grep 20151026" -reducer "wc -l" It took a whi ...
  • 这是锁争用的问题,最终导致其中一个锁超时。 以下是一些建议: 确保您具有正确的索引,这导致行级锁定而不是表级锁定。 这将减少争用。 确保您有外键约束的索引。 要在insert或update期间检查关系约束,如果没有这样的索引,某些数据库会锁定整个引用的表(不知道这是否是MySQL的情况) 如果问题仍然存在,请尝试使事务更快/更小。 同样,这将减少对数据库的争用。 增加超时但保持值合理 This is problem of lock contention, which ultimately result in ...
  • 好吧,你有两个指针,左右,你正在构建分区。 它们总是指向相应分区的最后一个元素。 leftDummy和rightDummy是这些分区的开头。 因此,最后您应该将左侧分区的最后一个元素附加到右侧分区的第一个元素: left.next = rightDummy.next; 如果右侧分区的最后一个元素用于指向原始列表中的某个其他元素,则应该更正,否则可以获得无限循环: right.next = null; 这是一个例子: 你的清单:1 - > 5 - > 8 - > 2 x = 4,最后得到两个分区: lef ...
  • “超出GC开销限制”可能意味着正在创建许多短期对象,超过GC可以处理而不会消耗超过总时间的98%。 请参阅此问题 ,了解如何使用JProfiler查找有问题的类和分配点。 免责声明:我公司开发JProfiler。 "GC overhead limit exceeded" probably means that a lot of short-lived objects are being created, more than the GC can handle without consuming more t ...
  • unindent time.sleep(0.5)一个级别。 当没有数据可用时,你会像疯了一样调查api。 unindent the time.sleep(0.5) one level. you poll the api like crazy when no data is available.