增量爬取

千锋教育

利用已爬取数据的URL或者页面内容来建立数据指纹,作为key存入Redis数据库中的集合,每次爬虫要处理URL或者页面时会先去Redis数据库里检查一下是否已经存在,从而决定爬取内容。