首页 \ 问答 \ python如何搭建分布式爬虫呀

python如何搭建分布式爬虫呀

单机爬虫我已经会弄了 但是分布式不会弄 数据库是postgresql 在我想象中,分布式爬虫是这样的: 一个控制中心,控制所有爬虫,给他们分配任务,并得到爬虫返回的结果 我的疑问是, 问题1: 怎么实现,控制中心给每个爬虫比较平均的分配任务,用什么框架  什么算法 来实现? 问题2: 比如我有60个爬虫,他们怎么和控制中心通信  有什么框架 或者算法来实现吗
更新时间:2022-12-27 14:12

最新回答

象 
OOGL 面向对象图形库 
OPL 组织者编程语言源文件——Psion/Symbian 
OPO OPL输出可执行文件 
OPT Microsoft Developer Studio文件 
OPX OPL扩展DLL(动态链接库) 
ORA Oracle 7 配置文件 
ORC Oracle 7脚本文件 
ORG Lotus Organizer 文件 
OR2 Lotus Organizer 2 文件 
OR3 Lotus Organizer 97 文件 
OSS Microsoft Office查找文件 
OST Microsoft Exchange / Outlook 离线文件 
OTL Super NoteTab 模板文件 
OUT C语言输出文件 

P3 Primavera Project Planner(工程设计器)文件 
P10 Tektronix Plot 10 绘图文件 
P65 PageMaker 6.5文件 
P7C Digital ID 文件(MIME) 
PAB Microsoft个人地址簿 
PAC SB Studio Ⅱ 包 
PAK Quake WAD文件 
PAL 压缩文件 
PART Go!Zilla部分下载文件 
PAS Pascal源代码 
PAT DataCAD Hatch模式文件;CorelDRAW模式;高级Gravis Ultrasound / Forte 技术;碎片文件 
PBD PowerBuilder动态库,作为本地DLL的一个替代物 
PBF Turtle Beach的Pinnacle 银行文件 
PBK Microsoft PhoneBook(电话簿) 
PBL 用于在PowerBuilder开发环境中的PowerBuilder动态库 
PBM 可导出位图 
PBR PowerBuilder资源 
PCD Kodak Photo-CD映像;P-Code编译器测试脚本,由Microsoft测试与Microsoft Visual测试 
PCE Maps Eudora邮箱名字的DOS文件名 
PCL Hewlett-Packard 打印机控制语言文件(打印机备用位图) 
PCM 声音文件格式;OKI MSM6376 合成芯片 PCM格式 
PCP Symantec Live Update Pro文件 
PCS PICS动画文件 
PCT Macintosh PICT绘画文件 
PCX Zsoft PC画笔位图 
PDB 3Com PalmPilot数据库文件 
PDD 可以用Paint Shop Pro或其他图像处理软件打开的图形图像 
PDF Adobe Acrobat 可导出文档格式文件(可用Web浏览器显示);Microsoft系统管理服务器包定义文件;NetWare打印机定义文件 
PDP Broderbund的Print Shop Deluxe文件 
PDQ Patton&Patton Flowercharting PDQ Lite 文件 
PDS 摄影图像文件(该文件格式的来源不清楚) 
PF Aladdin系统对私人文件进行加密的文件 
PFA 类型1字体(ASCⅡ) 
PFB 类型1字体(二进制) 
PFC PF组件 
PFM 打印机字体尺度 
PGD 良好隐私(Pretty Good Privacy,PGP)虚拟磁盘文件 
PGL HP绘图仪绘图文件 
PGM 可输出灰度图(位图) 
PGP 用良好隐私(PGP)算法加密文件 
PH 由Microsoft帮助文件编译器产生的临时文件 
PHP,PHP3 包含有PHP脚本的HTML网页 
PHTML 包含有PHP脚本的HTML网页;由Perl分析解释的HTML 
PIC PC画图位图;Lotus图片;Macintosh PICT绘图 
PICT Macintosh PICT图形文件 
PIF 程序信息文件;IBM PIF绘图文件 
PIG LucasArts的Dark Forces WAD文件 
PIN Epic Pinball数据文件 
PIX 内置系统位图 
PJ MKS源完整性文件 
PJX,PJT Microsoft Visual FoxPro工程文件 
PKG Microsoft Developer Studio应用程序扩展(与DLL文件类似) 
PKR PGP的公用钥匙环 
PL Perl程序 
PLG 由REND386/AVRIL使用的文件格式 
PLI Oracle 7数据描述 
PLM Discorder Tracker2模块 
PLS Disorder Tracker2抽样文件;MPEG PlayList文件(由WinAmp使用) 
PLT HPGL绘图仪绘图文件;AutoCAD plot绘图文件;Gerber标志制作软件 
PM5 Pagemaker 5.0文件 
PM6 Pagemaker 6.0文件 
PNG 可移植的网络图形位图;Paint Shop Pro浏览器目录 
PNT,PNTG MacPaint图形文件 
POG Descent2 PIG文件扩展 
POL Windows NT策略文件 
POP Visual dBASE上托文件 
POT Microsoft Powerpoint模块 
POV 视频射线跟踪器暂留 
PP4 Picture Publisher 4位图 
PPA Microsoft Powerpoint内插器 
PPF Turtle Beach的Pinnacle程序文件 
PPM 可移植的象素映射位图 
PPP Parson Power Publisher;Serif PagePlus桌面出版缺省输出 
PPS Microsoft Powerpoint幻灯片放映 
PPT Microsoft Powerpoint演示文稿 
PQI PowerQuest驱动器图像文件 
PRC 3COM PalmPiltt资源(文本或程序)文件 
PRE Lotus Freelance演示文稿 
PRF Windows系统文件,Macromedia导演设置文件 
PRG dBASE Clipper和FoxPro程序源文件;WAVmaker程序 
PRJ 3D Studio(DOS)工程文件 
PRN 打印表格(用空格分隔的文本);DataCAD Windows打印机文件 
PRP Oberson的Prospero数据转换产品保存的工程文件 
PRS Harvard Graphics for Windows演示文件 
PRT 打印格式化文件;Pro/ENGINEER元件文件 
PRV PsiMail Internet提供者模板文件 
PRZ Lotus Freelance Graphics 97文件 
PS Postscript格式化文件(Postscript打印机可读文件) 
PSB Pinnacle Sound Bank 
PSD Adobe photoshop位图文件 
PSI PSION a-Law声音文件 
PSM Protracker Studio模型格式;Epic游戏的源数据文件 
PSP Paint Shop Pro图像文件 
PST Microsoft Outlook个人文件夹文件 
PTD Pro/ENGINEER表格文件 
PTM Polytracker音乐模块(MOD)文件 
PUB Ventura Publisher出版物;Microsoft Publisher文档 
PWD Microsoft Pocket Word文档 
PWL Windows 95口令列表文件 
PWP Photoworks图像文件(能被Photoworks浏览的一系列文件) 
PWZ Microsoft Powerpoint向导 
PXL Microsoft Pocket Excel电子表格 
PY 来自Yahoo的电子消息;Python脚本文件 
PYC Python脚本文件 

QAD PF QuickArt文档 
QBW QuickBooks for Windows文件 
QDT 来自Quicken UK的QuickBooks数据文件,帐目/税/货单程序 
QD3D Apple的QuickDraw 3D元文件格式 
QFL FAMILY LAWYER文档 
QIC Microsoft备份文件 
QIF QuickTime相关图像(MIME);Quicken导入文件 
QLB Quick库 
QM Quality Motion文件 
QRY Microsoft查询文件 
QST Quake Spy Tab文件 
QT,QTM QuickTime电影 
QTI,QTIF QuickTime相关图像 
QTP QuickTime优先文件 
QTS Mac PICT图像文件;QuickTime相关图像 
QTX QuickTime相关图像 
QW Symantec Q&A Write程序文件 
QXD Quark XPress文件 

R Pegasus邮件资源文件 
RA RealAudio声音文件 
RAM RealAudio元文件 
RAR RAR压缩档案(Eugene Roshall格式) 
RAS Sun光栅图像位图 
RAW RAW文件格式(位图);Raw标识的PCM数据 
RBH 由RoboHELP维持的RBH文件,它加入到一个帮助工程文件的信息中 
RDF 资源描述框架文件(涉及XML和元数据) 
RDL Descent注册水平文件 
REC 录音机宏;RapidComm声音文件 
REG 注册表文件 
REP Visual dBASE报表文件 
RES Microsoft Visual C++资源文件 
RFT 可修订的表单文本(IBM的DCA一部分或文档内容框架结构一部分) 
RGB,SGI Silicon图形RGB文件 
RLE Run-Length编码的位图 
RL2 Descent2注册水平文件 
RM RealAudio视频文件 
RMD Microsoft RegMaid文档 
RMF Rich Map格式(3D游戏编辑器使用它来保存图) 
RMI M1D1音乐 
ROM 基于盒式磁带的家庭游戏仿真器文件(来自Atari 2600、Colecovision、Sega、Nintendo等盒式磁带里的ROM完全拷贝,在两个仿真器之间不可互修改) 
ROV Rescue Rover数据文件 
RPM RedHat包管理器包(用于Linux) 
RPT Microsoft Visual Basic Crystal报表文件 
RRS Ace game Road Rash保存的文件 
RSL Borland的Paradox 7报表 
RSM WinWay Resume Writer恢复文件 
RTF Rich Text格式文档 
RTK RoboHELP使用的用来模拟Windows帮助的搜索功能 
RTM Real Tracker音乐模块(MOD)文件 
RTS RealAudio的RTSL文档;RoboHELP对复杂操作进行加速 
RUL InstallShield使用的扩展名 
RVP Microsoft Scan配置文件(MIME) 
Rxx 多卷档案上的RAR压缩文件(xx= 1~99间的一个数字) 

S 汇编源代码文件 
S3I Scream Tracker v3设备 
S3M Scream Tracker v3的声音模块文件 
SAM Ami专业文档;8位抽样数据 
SAV 游戏保存文件 
SB 原始带符号字节(8位)数据 
SBK Creative Labs的Soundfont 1.0 Bank文件;(Soundblaster)/EMU SonndFont v1.x Bank文件 
SBL Shockwave Flash对象文件 
SC2 Microsoft Schedule+7文件格式;SAS目录(Windows 95/NT、OS/2、Mac) 
SC3 SimCity 3000保存的游戏文件 
SCC Microsoft Source Safe文件 
SCD Matrix/Imapro SCODL幻灯片图像;Microsoft Schedule +7 
SCF Windows Explorer命令文件 
SCH Microsoft Schedule+1 
SCI ScanVec Inspire本地文件格式 
SCN True Space 2场景文件 
SCP 拨号网络脚本文件 
SCR Windows屏幕保护;传真图像;脚本文件 
SCT SAS目录(DOS);Scitex CT位图;Microsoft FoxPro表单 
SCT01 SAS目录(UNIX) 
SCV ScanVec CASmate本地文件格式 
SCX Microsoft FoxPro表单文件 
SD Sound Designer 1声音文件 
SD2 Sound Designer 2展平文件/数据分叉指令;SAS数据库(Windows 95/NT、OS/2、Mac) 
SDF 系统数据文件格式—Legacy Unisys(Sperry)格式 
SDK Roland S—系列软盘映像 
SDL Smart Draw库文件 
SDR Smart Draw绘图文件 
SDS 原始Midi抽样转储标准文件 
SDT SmartDraw模板 
SDV 分号分隔的值文件 
SDW Lotus WordPro图形文件;原始带符号的DWORD(32位)数据 
SDX 由SDX压缩的Midi抽样转储标准文件 
SEA 自解压档案(Stufflt for Macintosh或其他软件使用的文件) 
SEP 标签图像文件格式(TIFF)位图 
SES Cool Edit Session文件(普通数据声音编辑器文件) 
SF IRCAM声音文件格式 
SF2 Emu Soundfont v2.0文件;Creative Labs的Soundfont 2.0 Bank文件(Sound Blaster) 
SFD SoundStage声音文件数据 
SFI Sound Stage声音文件信息 
SFR Sonic Foundry Sample资源 
SFW Seattle电影工程(损坏的JPEG) 
SFX RAR自解压档案 
SGML 标准通用标签语言 
SHB Corel Show演示文稿;文档快捷文件 
SHG 热点位图 
SHP 3D Studio(DOS)形状文件;被一些应用程序用于多部分交互三角形模型的3D建模 
SHS Shell scrap文件;据载用于发送“口令盗窃者” 
SHTML 含有服务器端包括(SSI)的HTML文件 
SHW Corel Show演示文稿 
SIG 符号文件 
SIT Mac的StuffIt档案文件 
SIZ Oracle 7配置文件 
SKA PGP秘钥 
SKL Macromedia导演者资源文件 
SL PACT的保存布局扩展名 
SLB Autodesk Slide库文件格式 
SLD Autodesk Slide文件格式 
SLK Symbolic Link(SYLK)电子表格 
SM3 DataCAD标志文件 
SMP Samplevision格式;Ad Lib Gold抽样文件 
SND NeXT声音;Mac声音资源;原始的未符号化的PCM数据;AKAI MPC系列抽样文件 
SNDR Sounder声音文件 
SNDT Sndtool声音文件 
SOU SB Studio Ⅱ声音 
SPD Speech数据文件 
SPL Shockwave Flash对象;DigiTrakker抽样 
SPPACK SPPack声音抽样 
SPRITE Acorn的位图格式 
SQC 结构化查询语言(SQR)普通代码文件 
SQL Infromix SQL查询;通常被数据库产品用于SQL查询(脚本、文本、二进制)的文件扩展名 
SQR 结构化查询语言(SQR)程序文件 
SSDO1 SAS数据集合(UNIX) 
SSD SAS数据库(DOS) 
SSF 可用的电子表格文件 
ST Atari ST磁盘映像 
STL Sterolithography文件 
STM .shtml的短后缀形式,含有一个服务端包括(SSI)的HTML文件;Scream Tracker V2音乐模块(MOD)文件 
STR 屏幕保护文件 
STY Ventura Publisher风格表 
SVX Amiga 8SVX声音;互交换文件格式,8SVX/16SV 
SW 原始带符号字(16位)数据 
SWA 在Macromedia导演文件(MP3文件)中的Shockwave声音文件 
SWF Shockwave Flash对象 
SWP DataCAD交换文件 
SYS 系统文件 
SYW Yamaha SY系列波形文件 

T64 Commodore 64仿真器磁带映像文件 
TAB Guitar表文件 
TAR 磁带档案 
TAZ UNIX gzip/tape档案 
TBK Asymetrix Toolbook交互多媒体文件 
TCL 用TCL/TK语言编写的脚本 
TDB Thumbs Plus数据库 
TDDD Imagine 和 Turbo Silver射线跟踪器使用的文件格式 
TEX 正文文件 
TGA Targa位图 
TGZ UNIX gzip/tap档案文件 
THEME Windows 95桌面主题文件 
THN Graphics WorkShop for Windows速写 
TIF,TIFF 标签图像文件格式(TIFF)位图 
TIG 虎形文件,美国政府用于分发地图 
TLB OLE类型库 
TLE 两线元素集合(NASA) 
TMP Windows临时文件 
TOC Eudora邮箱内容表 
TOL Kodak照片增强器 
TOS Atari 16/32和32/32计算机操作系统文件 
TPL CakeWalk声音模板文件;DataCAD模板文件 
TPP Teleport Pro工程 
TRK Kermit脚本文件 
TRM 终端文件 
TRN MKS源完整性工程用法日志文件 
TTF TrueType字体文件 
TTK Corel Catalyst Translaton Tool Kit 
TWF TabWorks文件 
TWW Tagwrite模板 
TX8 MS-DOS文本 
TXB Descent/D2编码概要文件 
TXT ASCⅡ文本格式的声音数据 
TXW Yamaha TX16W波形文件 
TZ 老的压缩格式文件 
T2T Sonate CAD建模软件文件 

UB 原始未符号化的字节(8位)数据 
UDF Windows NT/2000唯一性数据库文件 
UDW 原始未符号化的双字(32位)数据 
ULAW 美国电话格式(CCITT G.711)声音 
ULT Ultra Tracker音乐模块(MOD)文件 
UNI MikMod UniMod格式化文件 
URL Internet快捷方式文件 
USE MKS源完整性文件 
UU,
你的图像主要是画工字形状,定义一个函数画工字,里面要有有一个参数是控制工字比例大小的,其余两个是画的时候起始坐标

然后定义一个列表,包括坐标,比例
list=[(x1,y1,scale1),
(x2,y2,scale2)

......;
(xn,yn,scalen)

]

for i in list:
    draw(*i)

我这个只是一个粗略的比方,大概意思就是定义好画图函数,然后把坐标放在列表,然后遍历,调用函数

相关问答

更多
  • 恩 看看 北京尚学堂 马士兵 的视频教程不错 你可以看看在下 www.bjsxt.com也可以在百度里搜 北京尚学堂
  • JAVA初学者请教[2022-04-16]

    我学JAVA刚两年 也没什么好说的 参考书嘛 随便弄本就行 基本全是这个抄那个那个抄这个 不过 我以前看过JAVA编程思想 感觉不错 网上可以查的东西 呵呵 对初学者来说 马士兵的教程 孙鑫的教程 张孝祥的教程都行 不多说 百度一下全有了 初学者。。。。。。。。。 学习的时候不要把自己定位到这个上面 你永远要记住 你是编程的,电脑是你的工具 嘛新东西不会折腾 装装试试 大不了就是重装系统 屁大点事 听明白了吧 凡事不要太害怕 试试才知道。。。。。。。。。。。告诉你个小秘密 我电脑里自己做的“病毒”要比网上的 ...
  • java初学者[2022-11-04]

    看马士兵JAVA教学视频+自己的操作
  • 初学者BSD Unix 建议楼主先学LINUX,redhat linux,
  • python的书很多 , 但是好书不多, 经过我这么多年的python学习,我总结出了一个python学习的读书路线: python简明教程: 让你大体上了解一下python, 最好是能够独立完成最后一个练习项目之后再看别 的书; python学习手册, python基础教程,python核心编程, 这三本书都是讲基础的, 但是都有不足又相互补充 , 我建议你随便挑一本开始看, 当看到某个地方有些不明白的时候, 去看看另外两本书里对应的章节, 有的时候你会恍然大悟的; 下面就看你的想法了, 如果想去学web ...
  • 你巧了,呵呵。 结论是:建议用2.7系列的; 具体原因: 之前刚写了总结的帖子,详细解释了,你一看就知道了: 【整理】总结Python2(Python 2.x版本)和Python3(Python 3.x版本)之间的区别 另外,关于如何学习python,感兴趣,也可以去看看: 【整理】如何学习Python + 如何有效利用Python有关的网络资源 + 如何利用Python自带手册(Python Manual) (此处不给贴地址,所以请自己google标题,即可找到帖子地址)
  • python官方版本idle:许多程序运行很好,特别是2.6,它兼容性好. PyScripter界面特别适合初学者,方便,特别好.
  • 朋友 了解一下框架 这个东西喔! turtle 图形库 python 带的
  • 下面是一个for循环,用来吧member列表的元素循环打印出来,然后查看这个元素的索引可以被2整除么 错误么,应该在print函数那里,貌似你第三个参数
  • python初学者[2022-05-17]

    如图就可以了。 aaaa.keys()就是一个列表,是字典的所有的key值。 [aaaa.keys() for zzzz in aaaa] 是循环了三次,然后每次都是把所有的key值的列表再做了个列表。[['zxcv', 'vbnm', 'asdf'], ['zxcv', 'vbnm', 'asdf'], ['zxcv', 'vbnm', 'asdf']]

相关文章

更多

最新问答

更多
  • 如何在Laravel 5.2中使用paginate与关系?(How to use paginate with relationships in Laravel 5.2?)
  • linux的常用命令干什么用的
  • 由于有四个新控制器,Auth刀片是否有任何变化?(Are there any changes in Auth blades due to four new controllers?)
  • 如何交换返回集中的行?(How to swap rows in a return set?)
  • 在ios 7中的UITableView部分周围绘制边界线(draw borderline around UITableView section in ios 7)
  • 使用Boost.Spirit Qi和Lex时的空白队长(Whitespace skipper when using Boost.Spirit Qi and Lex)
  • Java中的不可变类(Immutable class in Java)
  • WordPress发布查询(WordPress post query)
  • 如何在关系数据库中存储与IPv6兼容的地址(How to store IPv6-compatible address in a relational database)
  • 是否可以检查对象值的条件并返回密钥?(Is it possible to check the condition of a value of an object and JUST return the key?)
  • GEP分段错误LLVM C ++ API(GEP segmentation fault LLVM C++ API)
  • 绑定属性设置器未被调用(Bound Property Setter not getting Called)
  • linux ubuntu14.04版没有那个文件或目录
  • 如何使用JSF EL表达式在param中迭代变量(How to iterate over variable in param using JSF EL expression)
  • 是否有可能在WPF中的一个单独的进程中隔离一些控件?(Is it possible to isolate some controls in a separate process in WPF?)
  • 使用Python 2.7的MSI安装的默认安装目录是什么?(What is the default installation directory with an MSI install of Python 2.7?)
  • 寻求多次出现的表达式(Seeking for more than one occurrence of an expression)
  • ckeditor config.protectedSource不适用于editor.insertHtml上的html元素属性(ckeditor config.protectedSource dont work for html element attributes on editor.insertHtml)
  • linux只知道文件名,不知道在哪个目录,怎么找到文件所在目录
  • Actionscript:检查字符串是否包含域或子域(Actionscript: check if string contains domain or subdomain)
  • 将CouchDB与AJAX一起使用是否安全?(Is it safe to use CouchDB with AJAX?)
  • 懒惰地初始化AutoMapper(Lazily initializing AutoMapper)
  • 使用hasclass为多个div与一个按钮问题(using hasclass for multiple divs with one button Problems)
  • Windows Phone 7:检查资源是否存在(Windows Phone 7: Check If Resource Exists)
  • 无法在新线程中从FREContext调用getActivity()?(Can't call getActivity() from FREContext in a new thread?)
  • 在Alpine上升级到postgres96(/ usr / bin / pg_dump:没有这样的文件或目录)(Upgrade to postgres96 on Alpine (/usr/bin/pg_dump: No such file or directory))
  • 如何按部门显示报告(How to display a report by Department wise)
  • Facebook墙贴在需要访问令牌密钥后无法正常工作(Facebook wall post not working after access token key required)
  • Javascript - 如何在不擦除输入的情况下更改标签的innerText(Javascript - how to change innerText of label while not wiping out the input)
  • WooCommerce / WordPress - 不显示具有特定标题的产品(WooCommerce/WordPress - Products with specific titles are not displayed)