|
|
3 回复 | 直到 10 年前
|
1
5
你用代理吗?这也会减慢爬行速度。 handwritten crawler 我人为设置了每秒1个请求的限制。但是这个速度对于一个线程来说已经足够了(1个请求*60秒*60分钟*24小时=86400个请求/天)。如果你感兴趣,可以给whalbot.helmsman{AT}gmail.com发邮件。 |
|
|
2
2
Scrapy允许您确定并发请求的数量以及请求之间的延迟 its settings . |
|
|
3
0
你知道瓶颈在哪里吗?。正如whalbot.helmman指出的,限制可能不在Scrapy本身,而是在您正在爬行的服务器上。 您应该首先找出瓶颈是网络还是CPU。 |
推荐文章
|
|
gongarek · Scrapy中附加页的下一页 6 年前 |
|
|
fg42 · 正确安排两个for循环的结果 6 年前 |
|
|
Mrowkacala · 特定网页的刮壳 6 年前 |
|
|
Vacanito · scrapy with::在选择器之前 6 年前 |
|
|
TJ1 · Python Scrapy:在“href”中查找文本 6 年前 |
|
|
nevster · xpath有一个空值,该值会弄乱列表 6 年前 |
|
Andre Rumapea · 零碎的工作环境意味着什么? 6 年前 |