首页 \ 问答 \ YARN和Hadoop(YARN and Hadoop)

YARN和Hadoop(YARN and Hadoop)

关于HDFS的工作提交和Hadoop中的YARN架构,我有几个问题:

因此,在Hadoop生态系统中,每个集群都有一个NameNode,它可以包含存储数据的任意数量的数据节点。 当您向Hadoop提交作业时,NameNode上的作业跟踪器将选择每个作业并将其分配给数据节点上存在该文件的任务跟踪器。

所以我的问题是YARN的组件如何在HDFS中协同工作:?

所以YARN由NodeManager和资源管理器组成。 在这两个组件中:NodeManager是否在每个DataNode上运行,并且ResourceManager在每个群集的每个NameNode上运行? 因此,当任务跟踪器(在每个DataNode中)从作业跟踪器(在NameNode中)分配任务时,特定数据节点中的NodeManager将创建一个容器,该容器将从NameNode中的ResourceManager请求资源。 因此,当数据节点中的任务跟踪器从NameNode中的作业跟踪器获取作业时,此资源管理器和节点管理器才会发挥作用,其中NodeManager将向ResourceManager请求资源以执行作业。 它是否正确?


I had a couple of questions regarding job submission to HDFS and the YARN architecture in Hadoop:

So in the Hadoop ecosystem you have one NameNode for each cluster which can contain any number of data nodes that store your data. When you submit a job to Hadoop, the job tracker on the NameNode will pick each job and assign it to the task tracker on which the file is present on the data node.

So my question is how do the components of YARN work together in HDFS:?

So YARN consists of the NodeManager and the Resource Manager. Out of these two components: Is the NodeManager run on every DataNode and the ResourceManager runs on each NameNode for each cluster? So when the task tracker (in each DataNode) gets assigned a task from the job tracker (in the NameNode), the NodeManager in a specific data node will create an container which will request resources from the ResourceManager in the NameNode. So this resource manager and node manager only come into play when a task tracker in a data node gets a job from the job tracker in the NameNode, in which the NodeManager will ask the ResourceManager for resources for the job to be executed. Is this correct?


原文:https://stackoverflow.com/questions/36253538
更新时间:2021-12-16 06:12

最满意答案

使用str_split()

var_dump(str_split('testing'));

会回来:

array (size=7)
  0 => string 't' (length=1)
  1 => string 'e' (length=1)
  2 => string 's' (length=1)
  3 => string 't' (length=1)
  4 => string 'i' (length=1)
  5 => string 'n' (length=1)
  6 => string 'g' (length=1)

Use str_split()

var_dump(str_split('testing'));

Would return:

array (size=7)
  0 => string 't' (length=1)
  1 => string 'e' (length=1)
  2 => string 's' (length=1)
  3 => string 't' (length=1)
  4 => string 'i' (length=1)
  5 => string 'n' (length=1)
  6 => string 'g' (length=1)

相关问答

更多
  • 因为您已从href中删除了“#”,这就是为什么在单击链接并且所有字段数据都丢失时刷新整个页面的原因。 不要删除它,然后使用以下代码 CAPTCHA Image
    不要使用此代码。 它无助于提高安全性。 为了使验证码有效,验证码的答案必须是仅由服务器知道的秘密。 客户端脚本无法实现验证码,因为客户端代码必然知道答案。 此脚本不会保护您的服务器免受恶意攻击。 世界上所有的JavaScript都不能阻止攻击者将POST假表单的脚本写入您的服务器。 由于验证码验证发生在客户端上,因此您的服务器对于请求是否由人类合法生成一无所知。 这个验证码也通过将挑战呈现为纯文本而忽略了这一点。 任何脚本都可以从DOM读取挑战并提供正确的答案。 如果浏览器禁用了JavaScript,则此脚 ...
  • 基本上,为了返回表单的动作,我刚才添加了 if (r.error == 0) { reloadCaptcha() document.forms['formname'].submit() 它返回到action字段,就好像没有参数的情况下按下了提交按钮一样,“return false” Basically, in order to return the action of the form, I just added if (r.error == 0) { reloadCaptcha() document.f ...
  • 看起来你正在寻找Or 逻辑运算符 ,在重定向之前保存值: if($response["success"] === true) { $_SESSION['success'] = true; echo ''; exit; } 现在添加一个新的支票:
  • 自3.0版以来,BotDetect验证码支持中文字符http://captcha.biz/localizations/chinese-captcha.html 几天前他们也发布了PHP版本。 http://captcha.biz/php-captcha.html 它适用于禁用的JavaScript。 BotDetect captcha supports Chinese characters since the version 3.0 http://captcha.biz/localizations/chin ...
  • 说这种CAPTCHA (完全自动化的公共图灵测试告诉计算机和人类除外)完全不安全的基本想法是,虽然OP声称“目前”谷歌翻译不支持波利尼西亚语,但它不能排除它将来会这样做。 更一般地说,由于以下考虑因素,翻译不是有效的CAPTCHA测试: 比较随机句子VS使用公共翻译器(例如未来版本的Google,Bing)的自动翻译对于黑客向翻译引擎提交相同的短语是相同的 使用句子白名单及其翻译最终会被自动化公共翻译的准确性所淹没 我的意思是现代公共计算机翻译正在完善其准确性。 如果您认为公共翻译人员今天无法执行准确的工作 ...
  • 您还可以输出看起来像常规字符(但不是)的Unicode字符,并要求用户重复这些字符。 西里尔字母有许多看起来很熟悉的拉丁文字符,但编码方式不同: А vs A В vs B Е vs E Ѕ vs S І vs I К vs K М vs M Н vs H О vs O Р vs P Т vs T Х vs X 这很容易破解,但易于实现,易于用户解决。 (关于你的代码示例:跳过整个会话事件,只需从captcha.php文件中回显CAPTCHA。确 ...
  • 您可以使用下面的代码使用PHP的gd库实现一个简单的验证码。 作为初学者,这里有一个快速测试的示例代码,它还包括字体大小:
  • 使用str_split() var_dump(str_split('testing')); 会回来: array (size=7) 0 => string 't' (length=1) 1 => string 'e' (length=1) 2 => string 's' (length=1) 3 => string 't' (length=1) 4 => string 'i' (length=1) 5 => string 'n' (length=1) 6 => string ' ...
  • 试试这个: jQuery('#reload_captcha').click(function(){ var d = new Date(); jQuery('#captcha_image').attr('src', 'getUrl('helloworld/index/captcha')?>?'+d.getTime()); }); 要获取相同的图像URL,但我们添加了一个随机(时间)参数,因此它不会从缓存中获取。 Try this: jQuery('#reload_capt ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)