如果网页类型是一样的,比如一批淘宝店铺的URL、或者多个淘宝商品的URL,这种可以通过一个规则实现批量采集,具体参考教程:
图文:URL循环:批量采集同类网页
如果网页类型是不同网站的,比如一个京东一个淘宝,这种因为网页源码不一样,就需要分开做两个规则去抓取。
如果网页是同一个网站的,比如都是淘宝的,一个是某个店铺的链接,一个是具体某个商品的链接,这种也是无法用一个规则去抓取的,要分开两个规则抓取。
只有当链接都是店铺的,或者链接都是商品的,这种才可以用同一个规则去抓取。
如果网页类型是一样的,比如一批淘宝店铺的URL、或者多个淘宝商品的URL,这种可以通过一个规则实现批量采集,具体参考教程:
图文:URL循环:批量采集同类网页
如果网页类型是不同网站的,比如一个京东一个淘宝,这种因为网页源码不一样,就需要分开做两个规则去抓取。
如果网页是同一个网站的,比如都是淘宝的,一个是某个店铺的链接,一个是具体某个商品的链接,这种也是无法用一个规则去抓取的,要分开两个规则抓取。
只有当链接都是店铺的,或者链接都是商品的,这种才可以用同一个规则去抓取。