首页 \ 问答 \ 怎么用python爬虫爬取可以加载更多的网页

怎么用python爬虫爬取可以加载更多的网页

就像百度图片,当加载了更多图片之后网页源码却没有发生变化,多加载的图片也不能爬取下来,这种情况该怎么处理?
更新时间:2023-02-12 07:02

最满意答案

MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解下面就为您分析两者的主要区别供您参考学习
    为了形象地对比两者再建一个表
    CREATE TABLE myIndex ( i_testID INT NOT NULL AUTO_INCREMENT vc_Name VARCHAR() NOT NULL vc_City VARCHAR() NOT NULL i_Age INT NOT NULLi_SchoolID INT NOT NULL PRIMARY KEY (i_testID) );
    在这  条记录里面  上  下地分布了  条 vc_Name="erquan" 的记录只不过 cityageschool 的组合各不相同
    来看这条 TSQLSELECT i_testID FROM myIndex WHERE vc_Name=erquanAND vc_City=郑州 AND i_Age=;
    首先考虑建MySQL单列索引
    在 vc_Name 列上建立了索引执行 TSQL 时MYSQL 很快将目标锁定在了 vc_Name=erquan 的  条记录上取出来放到一中间结果集在这个结果集里先排除掉 vc_City 不等于"郑州"的记录再排除 i_Age 不等于  的记录最后筛选出唯一的符合条件的记录
    虽然在 vc_Name 上建立了索引查询时MYSQL不用扫描整张表效率有所提高但离我们的要求还有一定的距离同样的在 vc_City 和 i_Age 分别建立的MySQL单列索引的效率相似
    为了进一步榨取 MySQL 的效率就要考虑建立组合索引就是将 vc_Namevc_Cityi_Age 建到一个索引里
    ALTER TABLE myIndex ADD INDEX name_city_age (vc_Name()vc_Cityi_Age);
    建表时vc_Name 长度为 这里为什么用  呢?因为一般情况下名字的长度不会超过 这样会加速索引查询速度还会减少索引文件的大小提高 INSERT 的更新速度
    执行 TSQL 时MySQL 无须扫描任何记录就到找到唯一的记录!!
    肯定有人要问了如果分别在 vc_Namevc_Cityi_Age 上建立单列索引让该表有  个单列索引查询时和上述的组合索引效率一样吗?大不一样远远低于我们的组合索引虽然此时有了三个索引但 MySQL 只能用到其中的那个它认为似乎是最有效率的单列索引
    建立这样的组合索引其实是相当于分别建立了
    vc_Namevc_Cityi_Age
    vc_Namevc_City
    vc_Name
    这样的三个组合索引!为什么没有 vc_Cityi_Age 等这样的组合索引呢?这是因为 mysql 组合索引“最左前缀”的结果简单的理解就是只从最左面的开始组合并不是只要包含这三列的查询都会用到该组合索引下面的几个 TSQL 会用到
    SELECT * FROM myIndex WHREE vc_Name="erquan" AND vc_City="郑州"
    SELECT * FROM myIndex WHREE vc_Name="erquan"
    而下面几个则不会用到
    SELECT * FROM myIndex WHREE i_Age= AND vc_City="郑州"
    SELECT * FROM myIndex WHREE vc_City="郑州"

其他回答

MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解下面就为您分析两者的主要区别供您参考学习
    为了形象地对比两者再建一个表
    CREATE TABLE myIndex ( i_testID INT NOT NULL AUTO_INCREMENT vc_Name VARCHAR() NOT NULL vc_City VARCHAR() NOT NULL i_Age INT NOT NULLi_SchoolID INT NOT NULL PRIMARY KEY (i_testID) );
    在这  条记录里面  上  下地分布了  条 vc_Name="erquan" 的记录只不过 cityageschool 的组合各不相同
    来看这条 TSQLSELECT i_testID FROM myIndex WHERE vc_Name=erquanAND vc_City=郑州 AND i_Age=;
    首先考虑建MySQL单列索引
    在 vc_Name 列上建立了索引执行 TSQL 时MYSQL 很快将目标锁定在了 vc_Name=erquan 的  条记录上取出来放到一中间结果集在这个结果集里先排除掉 vc_City 不等于"郑州"的记录再排除 i_Age 不等于  的记录最后筛选出唯一的符合条件的记录
    虽然在 vc_Name 上建立了索引查询时MYSQL不用扫描整张表效率有所提高但离我们的要求还有一定的距离同样的在 vc_City 和 i_Age 分别建立的MySQL单列索引的效率相似
    为了进一步榨取 MySQL 的效率就要考虑建立组合索引就是将 vc_Namevc_Cityi_Age 建到一个索引里
    ALTER TABLE myIndex ADD INDEX name_city_age (vc_Name()vc_Cityi_Age);
    建表时vc_Name 长度为 这里为什么用  呢?因为一般情况下名字的长度不会超过 这样会加速索引查询速度还会减少索引文件的大小提高 INSERT 的更新速度
    执行 TSQL 时MySQL 无须扫描任何记录就到找到唯一的记录!!
    肯定有人要问了如果分别在 vc_Namevc_Cityi_Age 上建立单列索引让该表有  个单列索引查询时和上述的组合索引效率一样吗?大不一样远远低于我们的组合索引虽然此时有了三个索引但 MySQL 只能用到其中的那个它认为似乎是最有效率的单列索引
    建立这样的组合索引其实是相当于分别建立了
    vc_Namevc_Cityi_Age
    vc_Namevc_City
    vc_Name
    这样的三个组合索引!为什么没有 vc_Cityi_Age 等这样的组合索引呢?这是因为 mysql 组合索引“最左前缀”的结果简单的理解就是只从最左面的开始组合并不是只要包含这三列的查询都会用到该组合索引下面的几个 TSQL 会用到
    SELECT * FROM myIndex WHREE vc_Name="erquan" AND vc_City="郑州"
    SELECT * FROM myIndex WHREE vc_Name="erquan"
    而下面几个则不会用到
    SELECT * FROM myIndex WHREE i_Age= AND vc_City="郑州"
    SELECT * FROM myIndex WHREE vc_City="郑州"
    转载,仅供参考。

相关问答

更多
  • 普通索引 这是最基本的索引类型,而且它没有唯一性之类的限制。 唯一性索引 这种索引和前面的“普通索引”基本相同,但有一个区别:索引列的所有值都只能出现一次,即必须唯一。
  • 创建一个users表 CREATE TABLE `users` (`userID` int(11) NOT NULL AUTO_INCREMENT,`userName` varchar(20) NOT NULL,`password` varchar(20) NOT NULL,PRIMARY KEY (`userID`)) 创建一个genUsers存储过程,用来模拟数据 delimiter $create procedure genUsers()begindeclare i int default 0;whi ...
  • MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解下面就为您分析两者的主要区别供您参考学习 为了形象地对比两者再建一个表 CREATE TABLE myIndex ( i_testID INT NOT NULL AUTO_INCREMENT vc_Name VARCHAR() NOT NULL vc_City VARCHAR() NOT NULL i_Age INT NOT NULLi_SchoolID INT NOT NULL PRIMARY KEY (i_testID) ); 在这 条记录里 ...
  • chomp是用来删除换行符,例子代码: #!/usr/bin/perl $c="abcde"; chomp($c); print "$c\n"; [root@ak]# perl a.pl abcde chop是用来删除最后一个字符,例子代码: #!/usr/bin/perl $c="abcde"; chop($c); print "$c\n"; [root@ak]# perl a.pl abcd 应该明白了吧,还有不明白的请详细说明。
  • MySQL数据库有多种存储引擎:比如:MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE等等,最常见的也就是MyISAM和InnoDB了,下面主要讲解下MyISAM和InnoDB两种mysql数据库存储引擎的区别。   MyISAM引擎是一种非事务性的引擎,提供高速存储和检索,以及全文搜索能力,适合数据仓库等查询频繁的应用。MyISAM中,一个table实际保存为三个文件,.frm存 ...
  • MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解下面就为您分析两者的主要区别供您参考学习 为了形象地对比两者再建一个表 CREATE TABLE myIndex ( i_testID INT NOT NULL AUTO_INCREMENT vc_Name VARCHAR() NOT NULL vc_City VARCHAR() NOT NULL i_Age INT NOT NULLi_SchoolID INT NOT NULL PRIMARY KEY (i_testID) ); 在这 条记录里 ...
  • $() 方法 如果括号中是 js 原生的dom 对象 的话, 该方法可以吧其转换为 jquery 对象,只有jquey 对象才能使用 jquery 的方法, 比如你用document.getElementById("id") 获取了一个 dom对象 你不能使用 他的方法 比如 .css() .animate() .click() 但是如果你使用 $(document.getElementById("id") ) 就可以使用了 通常 在一些事件回调中 的this 指向的是当前事件绑定的 dom 对象 而不是j ...
  • 联合索引是由多个字段组成的索引。CREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name[USING index_type]ON tbl_name (index_col_name,...)index_col_name:col_name [(length)] [ASC | DESC] 如果你经常要用到多个字段的多条件查询,可以考虑建立联合索引,一般是除第一个字段外的其它字段不经常用于条件筛选情况,比如说a,b 两个字段,如果你经常用a条件或者a+b条件去查询,而很少单 ...
  • 定义组合索引和多个索引是否有任何危害? 我宁愿称之为维护开销而不是伤害: - 对于每个新索引,此表上的INSERT / UPDATE / DELETE会慢一点。 - 索引需要一些磁盘空间。 如果查询包含每列的谓词,而不管查询中列的顺序如何,SQL是否会优先考虑单索引合并的组合索引? 查询中的列顺序无关紧要。 索引中的列顺序很重要。 所以: index on( AssignedToID , DateUpdated )可用于搜索而不是( AssignedToID )上的索引,但是 index on( DateU ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)