|
|
3 回复 | 直到 10 年前
|
1
5
你用代理吗?这也会减慢爬行速度。 handwritten crawler 我人为设置了每秒1个请求的限制。但是这个速度对于一个线程来说已经足够了(1个请求*60秒*60分钟*24小时=86400个请求/天)。如果你感兴趣,可以给whalbot.helmsman{AT}gmail.com发邮件。 |
|
2
2
Scrapy允许您确定并发请求的数量以及请求之间的延迟 its settings . |
|
|
3
0
你知道瓶颈在哪里吗?。正如whalbot.helmman指出的,限制可能不在Scrapy本身,而是在您正在爬行的服务器上。 您应该首先找出瓶颈是网络还是CPU。 |
推荐文章
|
|
Tae · Python3中方法has\u key的替换 7 年前 |
|
Vega · 如何从DOM获取所有链接? 7 年前 |
|
|
bob9123 · 为什么状态和索引中的文档计数不同? 7 年前 |
|
|
Konstantin · crawler中未启动回调函数,scrapy 7 年前 |
|
|
SY9 · 刮:已爬网并刮取0个项目 7 年前 |