首页 \ 问答 \ 作业使用的执行者的Spark数量(Spark number of executors that job uses)

作业使用的执行者的Spark数量(Spark number of executors that job uses)

这是我的火花簇细节 - 内存 - 29.3GB和10核。

在此处输入图像描述

现在我做这份工作,

spark-submit --master spark:// hadoop-master:7077 --executor-memory 1g - executor-cores 2 /home/hduser/ratings-counter.py

但是当我单击完成的应用程序时,我看到有5个执行程序正在执行。

spark如何确定执行5个执行程序?

在此处输入图像描述


Here is my spark cluster details - Memory - 29.3GB and 10 cores.

enter image description here

Now I run this job,

spark-submit --master spark://hadoop-master:7077 --executor-memory 1g -- executor-cores 2 /home/hduser/ratings-counter.py

but when I click the completed application, I see 5 executors being executed.

How does spark determines to execute 5 executors?

enter image description here


原文:https://stackoverflow.com/questions/42564914
更新时间:2023-12-29 06:12

最满意答案

是单个jpeg图像还是你尝试的所有jpeg?

JPEG错误#53错误将由于内存不足而出现。

如果文件已损坏,则可能发生此错误。

因此,在paint或photoshop中打开此图像并将其重新保存在jpeg中可以解决问题。


my problem solved by using TAdvPicture componenet.

相关问答

更多
  • try在delphi的意思[2022-09-17]

    Delphi 中有两个try ..except 和 try ..finally try //程序 except //错误处理 end; try //程序 finally //不管出现什么问题,都会执行此处的代码 end;
  • 如果您尝试通过SMB 3.0从Azure Datacenter外部安装Azure文件共享,则有两个可能的原因会导致此错误。 您的客户端操作系统需要支持SMB 3.0,例如使用Windows 8,Windows 10,Windows Server 2012。 端口445(TCP出站)需要由您的ISP或防火墙打开。 如果您从Azure Datacenter外部安装,则SMB协议依赖于此端口,并且我注意到某些ISP阻止了此端口(例如Comcast)。 您可以参考下面的链接自行对端口进行自检。 http://pos ...
  • Delphi XE2未附带名为Vcl.Imaging.jpeg.pas的单元。 它附带一个名为Vcl.Imaging.jpeg.dcu的预编译DCU文件。 您需要链接预编译的DCU,而不是尝试编译VCL单元。 只有在尝试从源编译单元时才会出现错误消息。 如果将预编译的DCU传递给链接器,则无法获得此消息。 我怀疑你的.dpr文件包含对名为Vcl.Imaging.jpeg.pas的文件的Vcl.Imaging.jpeg.pas 。 通过从.dpr文件中删除对Vcl.Imaging.jpeg.pas的引用来解决 ...
  • 我无法重现文件未找到错误。 我按如下方式调整了您的代码,但它会毫无错误地打开工作簿文件。 Const cstrFile = "\\HP64\share\Access\temp.xls" If Len(Dir(cstrFile)) = 0 Then MsgBox "File '" & cstrFile & "' not found." Else Shell "Excel " & cstrFile, vbMaximizedFocus End If 或者,您可以创建Excel应用程序实例,然后打 ...
  • 尝试这个: 删除该CNAME记录 在Route53中添加A记录 将A记录命名为'www',它应自动生成www.mydomain.com.br。 检查ALIAS-yes框 选择mydomain.com.br。 从下拉框中(注意结尾有一个PERIOD) 保存并等待约5分钟。 Try this: Delete that CNAME record Add an A record in Route53 Name the A record 'www' it should automatically make that ...
  • 您可以使用TJPEGImage的实例加载JPeg文件,然后将其分配给TBitmap进行显示。 您可以在单位jpeg中找到TJPEGImage。 jpeg := TJPEGImage.Create; jpeg.LoadFromFile('filename.jpg'); bitm := TBitmap.Create; bitm.Assign(jpeg); Image1.Height := bitm.Height; Image1.Width := bitm.Width; Image1.Canvas.Draw( ...
  • 是单个jpeg图像还是你尝试的所有jpeg? JPEG错误#53错误将由于内存不足而出现。 如果文件已损坏,则可能发生此错误。 因此,在paint或photoshop中打开此图像并将其重新保存在jpeg中可以解决问题。 my problem solved by using TAdvPicture componenet.
  • 您应该能够使用Graphic32中的TBitmap32处理大型位图( http://www.graphics32.org/wiki/ ) you should be able to process large bitmaps using TBitmap32 from Graphic32 (http://www.graphics32.org/wiki/)
  • 你正在调用TGraphic.LoadFromStream()但你没有事先用一个有效的TGraphic派生对象初始化TPicture.Graphic属性,所以属性很可能是nil ,因为崩溃了。 此外,将TPicture.Graphic保存到TMemoryStream时,在将数据保存到数据库时跳过图形的第一个字节。 所有字节都很重要,所以不要跳过任何字节。 假设您的图像是特定的JPEG而不是其他内容(您的保存代码不限制文件类型),请尝试以下方法: procedure TfrmMain.btnAddPickT4C ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)