user-agent 的识别,可以随机替换请求头,对于scrapy,可以在中间件中设置随机替换请求头
封ip,可以设置ip池,随机替换ip
设置 cookie,其他请求头,防盗链
动态数据,可以抓包,手机端可以使用Fiddler,网站可以selemium模拟网站登录。
验证码,可以采取打码平台,超级鹰
user-agent 的识别,可以随机替换请求头,对于scrapy,可以在中间件中设置随机替换请求头
封ip,可以设置ip池,随机替换ip
设置 cookie,其他请求头,防盗链
动态数据,可以抓包,手机端可以使用Fiddler,网站可以selemium模拟网站登录。
验证码,可以采取打码平台,超级鹰