用Python写爬虫，用什么方式、框架比较好？
以前只写过很简单的Python爬虫，直接用内置库实现，有没有谁用Python爬过规模较大的数据，用的是什么方法？ 还有，采用现有的Python爬虫框架，相比与直接使用内置库，优势在哪？因为Python本身写爬虫已经很简单了。
更新时间：2023-03-30 20:03
最满意答案
报错的url链接是：http://test/，把这个域名调通就能访问了，如果仅仅只是配置php的话，建议配置php支持： location ~ .*\.(php|php5)?$ { fastcgi_pass 127.0.0.1:9000; //根据自己的fast_cgi监听进行更改 fastcgi_index index.php; include fastcgi.conf; }
其他回答
生产环境，今天无意中用ip访问了一下，发现竟然可以访问到，有一个域名被做为了默认域名。网上找了一下资料，nginx可以设置禁止通过ip访问的。在任一有效的nginx配置文件中加上以下一段# forbidden use ip address accessserver { listen 80 default_server; server_name _; return 444;}其实思路很简单，就是用ip访问的时候，返回444错误。
相关问答
更多-
nginx配置了负载均衡的访问ip地址过后，那个ip地址不能访问[2022-03-14]
这个问题的原因应该来说比较多1、是否配置正确server_name2、DNS域名解析是否正确，可以ping一下你的域名3、是否需要做url重写或者url重写是否配置正确4、是否需要单独对于cssjs及图片这些单独指定目录5、检查cssjs文件请求的地址是否正确以及服务器目录中是否有相应的文件 -
nginx+tomcat 内网实现负载均衡 ip_hash 不生效[2024-02-27]
ip_hash是会话保持模块，在一定时间内，来自同一个ip的会话都会分到之前那台机器上。 -
nginx配置了负载均衡的访问ip地址过后，那个ip地址不能访问[2022-04-18]
报错的url链接是：http://test/，把这个域名调通就能访问了，如果仅仅只是配置php的话，建议配置php支持： location ~ .*\.(php|php5)?$ { fastcgi_pass 127.0.0.1:9000; //根据自己的fast_cgi监听进行更改 fastcgi_index index.php; include fastcgi.conf; } -
nginx 轮询失败，配置了负载均衡，但是请求永远只访问其中某一个地址，求大侠指导[2023-03-12]
请确定另外一个地址是否可以访问，如果另外一个地址nginx访问不了，那么就会出现你这种情况，永远只访问那个可以访问的地址 -
Tomcat 6.0.37 如何配置将ip地址访问改为域名地址访问？[2022-09-18]
不会配你就用集成包jspstudy，一键配好jsp环境集成jdk+tomca+mysql等。jspstudy上面好像也有站点域名设置，纯中文控制面板。你试试吧 -
nginx配置通过IP访问返回静态页面[2021-12-22]
如果你以虚拟主机的方式在nginx上跑网站，就把默认的虚拟主机的主机名写成ip地址 ，它的网站目录下放错误信息提示页面的html文件 。默认虚拟主机配置类似： server { listen 80; server_name 192.168.1.12 default; root D:\ServCode\www; index index.html; } -
通过一些实验，我找到了一个解决方案： Meteor.methods({ printIP: function() { if (this.connection.httpHeaders && this.connection.httpHeaders['x-forwarded-for']) { return this.connection.httpHeaders['x-forwarded-for']; } else { return this.conn ...
-
IIS 7 - 通过负载均衡器后面的IP地址限制应用程序(IIS 7 - Restrict Application by IP Address behind load balancer)[2024-03-22]
您可以使用IIS URL重写模块来完成此操作。 添加一个新的入站规则，其条件检查IP地址是否与{HTTP_X_Forwarded_For}不匹配。 然后，您可以将规则设置为重定向，重写或中止请求。 你可以为每个你想要白名单的IP地址设定一个新的条件。 You can use the IIS URL Rewrite module to accomplish this. Add a new inbound rule with conditions that check to see if the IP addr ... -
如何允许通过Nginx.conf访问单个IP地址？(How can I allow access to a single IP address via Nginx.conf?)[2023-10-14]
修改你的nginx.conf server { listen 80; server_name www.foo.bar; location / { root /path/to/rails/public/; passenger_enabled on; allow my.public.ip.here; deny all; } } modify your nginx.conf server { lis ... -
将此代码放在DOCUMENT_ROOT/.htaccess文件中： RewriteEngine On RewriteCond %{HTTP_HOST} ^(4yourprice\.com|[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)$ [NC] RewriteRule ^ http://www.4yourprice.com%{REQUEST_URI} [L,NE,R=301] put this code in your DOCUMENT_ROOT/.htaccess file: Rew ...