反爬措施怎样处理

千锋教育

user-agent 的识别,可以随机替换请求头,对于scrapy,可以在中间件中设置随机替换请求头


封ip,可以设置ip池,随机替换ip


设置 cookie,其他请求头,防盗链


动态数据,可以抓包,手机端可以使用Fiddler,网站可以selemium模拟网站登录。


验证码,可以采取打码平台,超级鹰