如何在scrapy-redis.pipelines.RedisPipeline中引发scrapy.exceptions.DropItem

我有一个零碎的项目,我需要在Redis中存储一些零碎的东西。

我想写我自己的管道类,但后来我发现 scrapy-redis 决定试试看。

我的问题是:如果刮掉的东西是 无效的 ?

由 无效的 ,我的意思是,就我的申请而言,这个项目应该被丢弃而不是处理。

我知道如果我自己写管道类,我可以 DropItem 例外,但是如果我使用 RedisPipeline ?

我可以想出两种可能的解决方案:

1. 子类 再贴现 ,重写 process_item ,删除无效的 ,并将有效项的处理委托给 RedisPipeline.process_item . 然后在我的spider中使用这个子类管道。
2. 定义另一个负责删除无效项的管道类,并赋予此管道更高的优先级。

我在想一些事情:

class DropItemPipeline(object):

def process_item(self, item, spider):
    if not item["is_valid"]:
        raise DropItem
    else:
        return item

另见: How can I use different pipelines for different spiders in a single Scrapy project