代码之家 › 专栏 › 技术社区 › Mrowkacala

特定网页的刮壳

scrapy web-scraping python

Mrowkacala · 技术社区 · 6 年前

我想推出scrapy shell https://www.trekearth.com 之后

scrapy shell https://www.trekearth.com

我收到

2018-05-11 16:02:04 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying 
<GET https://www.trekearth.com> (failed 1 times): 524 Unknown Status
2018-05-11 16:02:05 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying 
<GET https://www.trekearth.com> (failed 2 times): 502 Bad Gateway
2018-05-11 16:03:45 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up 
retrying <GET https://www.trekearth.com> (failed 3 times): 524 Unknown Status

原因是什么?我检查过的其他每个网站都没有返回可比的结果。

1 回复 | 直到 6 年前

gangabass 6 年前

这是一种用户代理筛选:

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36" https://www.trekearth.com

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前