代码之家 › 专栏 › 技术社区 › not2qubit

如何提取被刮图像的文件修改时间?

scrapy-spider scrapy web-scraping python

not2qubit · 技术社区 · 6 年前

我试着从一个包含零件图片的零件网站上搜集一些数据。但是,没有网址或图片上传或创建日期,所以我不得不使用近似的图像文件 修改日期 来获取这个信息。使用卷曲 ,这是一项简单的任务:

curl -sI https://path.to.com/blahblah_123/item_picture.jpg |grep "last-modified"

不过,我认为在最短的时间内完成这项工作会更方便 粘糊糊的 蜘蛛。但我完全不知道scrapy是否支持这一点,因为我在文档中找不到它。

有没有办法得到

1 回复 | 直到 6 年前

tdelev 6 年前

从 Scrapy ,的 response 有一个 headers dict字段。

所以你可以访问 last-modified 具有 response.headers.get('Last-Modified')

推荐文章

Grevioos · 处理时出现刮键错误

7 年前

Xiaowei Cheng · 找不到td scrapyspider的xpath[已关闭]

7 年前

Teresa Salil · 使用scrapy时如何绕过“cookiewall”?

7 年前

KAs · Scrapy:通过cmdLine从同一个python进程运行多个spider失败

7 年前

TheM00s3 · 设置下载延迟时,刮擦行为会发生变化

7 年前

WebOrCode · 为什么在刮擦的文本是作为字符串在蜘蛛,但作为列表在管道?

7 年前

Amrit · 无法在运行scrapy spider的c中运行python脚本

7 年前

aleroot · 使用相同的爬行器分析详细信息页面和分页页面

7 年前

user7367694 · Scrapy项目错误:“未定义变量”,实际上我已经定义了这个变量

7 年前

Chris Jewell · 刮痧蜘蛛一遍又一遍地返回相同的元素

7 年前