python如何搭建分布式爬虫呀
单机爬虫我已经会弄了 但是分布式不会弄 数据库是postgresql 在我想象中,分布式爬虫是这样的: 一个控制中心,控制所有爬虫,给他们分配任务,并得到爬虫返回的结果 我的疑问是, 问题1: 怎么实现,控制中心给每个爬虫比较平均的分配任务,用什么框架 什么算法 来实现? 问题2: 比如我有60个爬虫,他们怎么和控制中心通信 有什么框架 或者算法来实现吗
更新时间:2022-12-27 14:12
最新回答
象 OOGL 面向对象图形库 OPL 组织者编程语言源文件——Psion/Symbian OPO OPL输出可执行文件 OPT Microsoft Developer Studio文件 OPX OPL扩展DLL(动态链接库) ORA Oracle 7 配置文件 ORC Oracle 7脚本文件 ORG Lotus Organizer 文件 OR2 Lotus Organizer 2 文件 OR3 Lotus Organizer 97 文件 OSS Microsoft Office查找文件 OST Microsoft Exchange / Outlook 离线文件 OTL Super NoteTab 模板文件 OUT C语言输出文件 P3 Primavera Project Planner(工程设计器)文件 P10 Tektronix Plot 10 绘图文件 P65 PageMaker 6.5文件 P7C Digital ID 文件(MIME) PAB Microsoft个人地址簿 PAC SB Studio Ⅱ 包 PAK Quake WAD文件 PAL 压缩文件 PART Go!Zilla部分下载文件 PAS Pascal源代码 PAT DataCAD Hatch模式文件;CorelDRAW模式;高级Gravis Ultrasound / Forte 技术;碎片文件 PBD PowerBuilder动态库,作为本地DLL的一个替代物 PBF Turtle Beach的Pinnacle 银行文件 PBK Microsoft PhoneBook(电话簿) PBL 用于在PowerBuilder开发环境中的PowerBuilder动态库 PBM 可导出位图 PBR PowerBuilder资源 PCD Kodak Photo-CD映像;P-Code编译器测试脚本,由Microsoft测试与Microsoft Visual测试 PCE Maps Eudora邮箱名字的DOS文件名 PCL Hewlett-Packard 打印机控制语言文件(打印机备用位图) PCM 声音文件格式;OKI MSM6376 合成芯片 PCM格式 PCP Symantec Live Update Pro文件 PCS PICS动画文件 PCT Macintosh PICT绘画文件 PCX Zsoft PC画笔位图 PDB 3Com PalmPilot数据库文件 PDD 可以用Paint Shop Pro或其他图像处理软件打开的图形图像 PDF Adobe Acrobat 可导出文档格式文件(可用Web浏览器显示);Microsoft系统管理服务器包定义文件;NetWare打印机定义文件 PDP Broderbund的Print Shop Deluxe文件 PDQ Patton&Patton Flowercharting PDQ Lite 文件 PDS 摄影图像文件(该文件格式的来源不清楚) PF Aladdin系统对私人文件进行加密的文件 PFA 类型1字体(ASCⅡ) PFB 类型1字体(二进制) PFC PF组件 PFM 打印机字体尺度 PGD 良好隐私(Pretty Good Privacy,PGP)虚拟磁盘文件 PGL HP绘图仪绘图文件 PGM 可输出灰度图(位图) PGP 用良好隐私(PGP)算法加密文件 PH 由Microsoft帮助文件编译器产生的临时文件 PHP,PHP3 包含有PHP脚本的HTML网页 PHTML 包含有PHP脚本的HTML网页;由Perl分析解释的HTML PIC PC画图位图;Lotus图片;Macintosh PICT绘图 PICT Macintosh PICT图形文件 PIF 程序信息文件;IBM PIF绘图文件 PIG LucasArts的Dark Forces WAD文件 PIN Epic Pinball数据文件 PIX 内置系统位图 PJ MKS源完整性文件 PJX,PJT Microsoft Visual FoxPro工程文件 PKG Microsoft Developer Studio应用程序扩展(与DLL文件类似) PKR PGP的公用钥匙环 PL Perl程序 PLG 由REND386/AVRIL使用的文件格式 PLI Oracle 7数据描述 PLM Discorder Tracker2模块 PLS Disorder Tracker2抽样文件;MPEG PlayList文件(由WinAmp使用) PLT HPGL绘图仪绘图文件;AutoCAD plot绘图文件;Gerber标志制作软件 PM5 Pagemaker 5.0文件 PM6 Pagemaker 6.0文件 PNG 可移植的网络图形位图;Paint Shop Pro浏览器目录 PNT,PNTG MacPaint图形文件 POG Descent2 PIG文件扩展 POL Windows NT策略文件 POP Visual dBASE上托文件 POT Microsoft Powerpoint模块 POV 视频射线跟踪器暂留 PP4 Picture Publisher 4位图 PPA Microsoft Powerpoint内插器 PPF Turtle Beach的Pinnacle程序文件 PPM 可移植的象素映射位图 PPP Parson Power Publisher;Serif PagePlus桌面出版缺省输出 PPS Microsoft Powerpoint幻灯片放映 PPT Microsoft Powerpoint演示文稿 PQI PowerQuest驱动器图像文件 PRC 3COM PalmPiltt资源(文本或程序)文件 PRE Lotus Freelance演示文稿 PRF Windows系统文件,Macromedia导演设置文件 PRG dBASE Clipper和FoxPro程序源文件;WAVmaker程序 PRJ 3D Studio(DOS)工程文件 PRN 打印表格(用空格分隔的文本);DataCAD Windows打印机文件 PRP Oberson的Prospero数据转换产品保存的工程文件 PRS Harvard Graphics for Windows演示文件 PRT 打印格式化文件;Pro/ENGINEER元件文件 PRV PsiMail Internet提供者模板文件 PRZ Lotus Freelance Graphics 97文件 PS Postscript格式化文件(Postscript打印机可读文件) PSB Pinnacle Sound Bank PSD Adobe photoshop位图文件 PSI PSION a-Law声音文件 PSM Protracker Studio模型格式;Epic游戏的源数据文件 PSP Paint Shop Pro图像文件 PST Microsoft Outlook个人文件夹文件 PTD Pro/ENGINEER表格文件 PTM Polytracker音乐模块(MOD)文件 PUB Ventura Publisher出版物;Microsoft Publisher文档 PWD Microsoft Pocket Word文档 PWL Windows 95口令列表文件 PWP Photoworks图像文件(能被Photoworks浏览的一系列文件) PWZ Microsoft Powerpoint向导 PXL Microsoft Pocket Excel电子表格 PY 来自Yahoo的电子消息;Python脚本文件 PYC Python脚本文件 QAD PF QuickArt文档 QBW QuickBooks for Windows文件 QDT 来自Quicken UK的QuickBooks数据文件,帐目/税/货单程序 QD3D Apple的QuickDraw 3D元文件格式 QFL FAMILY LAWYER文档 QIC Microsoft备份文件 QIF QuickTime相关图像(MIME);Quicken导入文件 QLB Quick库 QM Quality Motion文件 QRY Microsoft查询文件 QST Quake Spy Tab文件 QT,QTM QuickTime电影 QTI,QTIF QuickTime相关图像 QTP QuickTime优先文件 QTS Mac PICT图像文件;QuickTime相关图像 QTX QuickTime相关图像 QW Symantec Q&A Write程序文件 QXD Quark XPress文件 R Pegasus邮件资源文件 RA RealAudio声音文件 RAM RealAudio元文件 RAR RAR压缩档案(Eugene Roshall格式) RAS Sun光栅图像位图 RAW RAW文件格式(位图);Raw标识的PCM数据 RBH 由RoboHELP维持的RBH文件,它加入到一个帮助工程文件的信息中 RDF 资源描述框架文件(涉及XML和元数据) RDL Descent注册水平文件 REC 录音机宏;RapidComm声音文件 REG 注册表文件 REP Visual dBASE报表文件 RES Microsoft Visual C++资源文件 RFT 可修订的表单文本(IBM的DCA一部分或文档内容框架结构一部分) RGB,SGI Silicon图形RGB文件 RLE Run-Length编码的位图 RL2 Descent2注册水平文件 RM RealAudio视频文件 RMD Microsoft RegMaid文档 RMF Rich Map格式(3D游戏编辑器使用它来保存图) RMI M1D1音乐 ROM 基于盒式磁带的家庭游戏仿真器文件(来自Atari 2600、Colecovision、Sega、Nintendo等盒式磁带里的ROM完全拷贝,在两个仿真器之间不可互修改) ROV Rescue Rover数据文件 RPM RedHat包管理器包(用于Linux) RPT Microsoft Visual Basic Crystal报表文件 RRS Ace game Road Rash保存的文件 RSL Borland的Paradox 7报表 RSM WinWay Resume Writer恢复文件 RTF Rich Text格式文档 RTK RoboHELP使用的用来模拟Windows帮助的搜索功能 RTM Real Tracker音乐模块(MOD)文件 RTS RealAudio的RTSL文档;RoboHELP对复杂操作进行加速 RUL InstallShield使用的扩展名 RVP Microsoft Scan配置文件(MIME) Rxx 多卷档案上的RAR压缩文件(xx= 1~99间的一个数字) S 汇编源代码文件 S3I Scream Tracker v3设备 S3M Scream Tracker v3的声音模块文件 SAM Ami专业文档;8位抽样数据 SAV 游戏保存文件 SB 原始带符号字节(8位)数据 SBK Creative Labs的Soundfont 1.0 Bank文件;(Soundblaster)/EMU SonndFont v1.x Bank文件 SBL Shockwave Flash对象文件 SC2 Microsoft Schedule+7文件格式;SAS目录(Windows 95/NT、OS/2、Mac) SC3 SimCity 3000保存的游戏文件 SCC Microsoft Source Safe文件 SCD Matrix/Imapro SCODL幻灯片图像;Microsoft Schedule +7 SCF Windows Explorer命令文件 SCH Microsoft Schedule+1 SCI ScanVec Inspire本地文件格式 SCN True Space 2场景文件 SCP 拨号网络脚本文件 SCR Windows屏幕保护;传真图像;脚本文件 SCT SAS目录(DOS);Scitex CT位图;Microsoft FoxPro表单 SCT01 SAS目录(UNIX) SCV ScanVec CASmate本地文件格式 SCX Microsoft FoxPro表单文件 SD Sound Designer 1声音文件 SD2 Sound Designer 2展平文件/数据分叉指令;SAS数据库(Windows 95/NT、OS/2、Mac) SDF 系统数据文件格式—Legacy Unisys(Sperry)格式 SDK Roland S—系列软盘映像 SDL Smart Draw库文件 SDR Smart Draw绘图文件 SDS 原始Midi抽样转储标准文件 SDT SmartDraw模板 SDV 分号分隔的值文件 SDW Lotus WordPro图形文件;原始带符号的DWORD(32位)数据 SDX 由SDX压缩的Midi抽样转储标准文件 SEA 自解压档案(Stufflt for Macintosh或其他软件使用的文件) SEP 标签图像文件格式(TIFF)位图 SES Cool Edit Session文件(普通数据声音编辑器文件) SF IRCAM声音文件格式 SF2 Emu Soundfont v2.0文件;Creative Labs的Soundfont 2.0 Bank文件(Sound Blaster) SFD SoundStage声音文件数据 SFI Sound Stage声音文件信息 SFR Sonic Foundry Sample资源 SFW Seattle电影工程(损坏的JPEG) SFX RAR自解压档案 SGML 标准通用标签语言 SHB Corel Show演示文稿;文档快捷文件 SHG 热点位图 SHP 3D Studio(DOS)形状文件;被一些应用程序用于多部分交互三角形模型的3D建模 SHS Shell scrap文件;据载用于发送“口令盗窃者” SHTML 含有服务器端包括(SSI)的HTML文件 SHW Corel Show演示文稿 SIG 符号文件 SIT Mac的StuffIt档案文件 SIZ Oracle 7配置文件 SKA PGP秘钥 SKL Macromedia导演者资源文件 SL PACT的保存布局扩展名 SLB Autodesk Slide库文件格式 SLD Autodesk Slide文件格式 SLK Symbolic Link(SYLK)电子表格 SM3 DataCAD标志文件 SMP Samplevision格式;Ad Lib Gold抽样文件 SND NeXT声音;Mac声音资源;原始的未符号化的PCM数据;AKAI MPC系列抽样文件 SNDR Sounder声音文件 SNDT Sndtool声音文件 SOU SB Studio Ⅱ声音 SPD Speech数据文件 SPL Shockwave Flash对象;DigiTrakker抽样 SPPACK SPPack声音抽样 SPRITE Acorn的位图格式 SQC 结构化查询语言(SQR)普通代码文件 SQL Infromix SQL查询;通常被数据库产品用于SQL查询(脚本、文本、二进制)的文件扩展名 SQR 结构化查询语言(SQR)程序文件 SSDO1 SAS数据集合(UNIX) SSD SAS数据库(DOS) SSF 可用的电子表格文件 ST Atari ST磁盘映像 STL Sterolithography文件 STM .shtml的短后缀形式,含有一个服务端包括(SSI)的HTML文件;Scream Tracker V2音乐模块(MOD)文件 STR 屏幕保护文件 STY Ventura Publisher风格表 SVX Amiga 8SVX声音;互交换文件格式,8SVX/16SV SW 原始带符号字(16位)数据 SWA 在Macromedia导演文件(MP3文件)中的Shockwave声音文件 SWF Shockwave Flash对象 SWP DataCAD交换文件 SYS 系统文件 SYW Yamaha SY系列波形文件 T64 Commodore 64仿真器磁带映像文件 TAB Guitar表文件 TAR 磁带档案 TAZ UNIX gzip/tape档案 TBK Asymetrix Toolbook交互多媒体文件 TCL 用TCL/TK语言编写的脚本 TDB Thumbs Plus数据库 TDDD Imagine 和 Turbo Silver射线跟踪器使用的文件格式 TEX 正文文件 TGA Targa位图 TGZ UNIX gzip/tap档案文件 THEME Windows 95桌面主题文件 THN Graphics WorkShop for Windows速写 TIF,TIFF 标签图像文件格式(TIFF)位图 TIG 虎形文件,美国政府用于分发地图 TLB OLE类型库 TLE 两线元素集合(NASA) TMP Windows临时文件 TOC Eudora邮箱内容表 TOL Kodak照片增强器 TOS Atari 16/32和32/32计算机操作系统文件 TPL CakeWalk声音模板文件;DataCAD模板文件 TPP Teleport Pro工程 TRK Kermit脚本文件 TRM 终端文件 TRN MKS源完整性工程用法日志文件 TTF TrueType字体文件 TTK Corel Catalyst Translaton Tool Kit TWF TabWorks文件 TWW Tagwrite模板 TX8 MS-DOS文本 TXB Descent/D2编码概要文件 TXT ASCⅡ文本格式的声音数据 TXW Yamaha TX16W波形文件 TZ 老的压缩格式文件 T2T Sonate CAD建模软件文件 UB 原始未符号化的字节(8位)数据 UDF Windows NT/2000唯一性数据库文件 UDW 原始未符号化的双字(32位)数据 ULAW 美国电话格式(CCITT G.711)声音 ULT Ultra Tracker音乐模块(MOD)文件 UNI MikMod UniMod格式化文件 URL Internet快捷方式文件 USE MKS源完整性文件 UU,
你的图像主要是画工字形状,定义一个函数画工字,里面要有有一个参数是控制工字比例大小的,其余两个是画的时候起始坐标 然后定义一个列表,包括坐标,比例 list=[(x1,y1,scale1), (x2,y2,scale2) ......; (xn,yn,scalen) ] for i in list: draw(*i) 我这个只是一个粗略的比方,大概意思就是定义好画图函数,然后把坐标放在列表,然后遍历,调用函数
相关问答
更多-
会java的看 我是个初学者[2023-05-18]
恩 看看 北京尚学堂 马士兵 的视频教程不错 你可以看看在下 www.bjsxt.com也可以在百度里搜 北京尚学堂 -
JAVA初学者请教[2022-04-16]
我学JAVA刚两年 也没什么好说的 参考书嘛 随便弄本就行 基本全是这个抄那个那个抄这个 不过 我以前看过JAVA编程思想 感觉不错 网上可以查的东西 呵呵 对初学者来说 马士兵的教程 孙鑫的教程 张孝祥的教程都行 不多说 百度一下全有了 初学者。。。。。。。。。 学习的时候不要把自己定位到这个上面 你永远要记住 你是编程的,电脑是你的工具 嘛新东西不会折腾 装装试试 大不了就是重装系统 屁大点事 听明白了吧 凡事不要太害怕 试试才知道。。。。。。。。。。。告诉你个小秘密 我电脑里自己做的“病毒”要比网上的 ... -
java初学者[2022-11-04]
看马士兵JAVA教学视频+自己的操作 -
初学者用那个unix版本好?[2023-07-22]
初学者BSD Unix 建议楼主先学LINUX,redhat linux, -
适合初学者的关于python教程的视频和书籍有哪些?[2023-02-06]
python的书很多 , 但是好书不多, 经过我这么多年的python学习,我总结出了一个python学习的读书路线: python简明教程: 让你大体上了解一下python, 最好是能够独立完成最后一个练习项目之后再看别 的书; python学习手册, python基础教程,python核心编程, 这三本书都是讲基础的, 但是都有不足又相互补充 , 我建议你随便挑一本开始看, 当看到某个地方有些不明白的时候, 去看看另外两本书里对应的章节, 有的时候你会恍然大悟的; 下面就看你的想法了, 如果想去学web ... -
对于初学者应该选择python什么版本呢?[2022-09-17]
你巧了,呵呵。 结论是:建议用2.7系列的; 具体原因: 之前刚写了总结的帖子,详细解释了,你一看就知道了: 【整理】总结Python2(Python 2.x版本)和Python3(Python 3.x版本)之间的区别 另外,关于如何学习python,感兴趣,也可以去看看: 【整理】如何学习Python + 如何有效利用Python有关的网络资源 + 如何利用Python自带手册(Python Manual) (此处不给贴地址,所以请自己google标题,即可找到帖子地址) -
初学者用哪个Python软件好[2024-03-29]
python官方版本idle:许多程序运行很好,特别是2.6,它兼容性好. PyScripter界面特别适合初学者,方便,特别好. -
Python中的turtle画图不可能是直接敲代码的吧,那样多难确定坐标。[2023-09-18]
朋友 了解一下框架 这个东西喔! turtle 图形库 python 带的 -
python初学者 有问题求回答[2021-10-07]
下面是一个for循环,用来吧member列表的元素循环打印出来,然后查看这个元素的索引可以被2整除么 错误么,应该在print函数那里,貌似你第三个参数 -
python初学者[2022-05-17]
如图就可以了。 aaaa.keys()就是一个列表,是字典的所有的key值。 [aaaa.keys() for zzzz in aaaa] 是循环了三次,然后每次都是把所有的key值的列表再做了个列表。[['zxcv', 'vbnm', 'asdf'], ['zxcv', 'vbnm', 'asdf'], ['zxcv', 'vbnm', 'asdf']]