基本是可以的,selenium适合动态网页抓取,因为它可以控制浏览器去点击、加载网页,requests则比较适合静态网页***集,它非常轻量化速度快,没有浏览器开销,占用***少。
当然如果不考虑***占用和速度,selenium是可以替代requests的。
但selenium需要配合一些解锁功能才能发挥作用,因为现在大网站反爬机制非常严格,已经从传统的IP识别升级到 行为分析 和 动态对抗, 像是浏览器指纹、验证码(CAPTCHA)、动态加密、异步加载等…。
当前位置: 首页 >
基本是可以的,selenium适合动态网页抓取,因为它可以控制浏览器去点击、加载网页,requests则比较适合静态网页***集,它非常轻量化速度快,没有浏览器开销,占用***少。
当然如果不考虑***占用和速度,selenium是可以替代requests的。
但selenium需要配合一些解锁功能才能发挥作用,因为现在大网站反爬机制非常严格,已经从传统的IP识别升级到 行为分析 和 动态对抗, 像是浏览器指纹、验证码(CAPTCHA)、动态加密、异步加载等…。
装修过的都会发现一个问题,就是你越是尊重工人,越是理解他们,...
有一个网站可以查任意一个网站的技术栈。 w***alyze...
...
关注了这个问题好久,怎么一个回答都没有……那我抛砖引玉吧。 ...
查看详情>>