代码之家 › 专栏 › 技术社区 › Deba

无法刮取横幅图像

scrapy web-scraping python

Deba · 技术社区 · 7 年前

我正在尝试从以下链接中删除横幅图像(较大图像)的链接: https://allevents.in/pune/filmmaking-workshop/20001033616713 .为此,我尝试使用这两个命令,这两个命令都返回一个空列表。

response.xpath('//img[@class="event-banner-image"]/@src').extract()

response.xpath('//*[@class="event-banner-image"]/@src').extract()

我正在将Scrapy与Python结合使用。

1 回复 | 直到 7 年前

Developer Guy Adam 7 年前

实际上,您在页面源中查找的图像有多个源。

只需单击 ctrl键 + U (在某些浏览器上可能有所不同)以“查看页面源”并搜索url字符串。

我发现你可以在meta标签下面看到图像:

$ scrapy shell https://allevents.in/pune/filmmaking-workshop/20001033616713
In : response.xpath('//meta[@property="og:image"]/@content').extract()
Out: ['https://cdn-az.allevents.in/banners/2d76d5624f4e4b83155a51d60b3872fb-rimg-w525-h350-gmir.jpg']

推荐文章

Lukinator · 为什么这个使用Selenium的网络爬虫不返回整个网站?

6 月前

user28864790 · 无法使用Python中的Selenium Webdriver在Chrome中登录网站

6 月前

babylinguist · 如何使用rechart模拟按钮点击

6 月前

Stackie · 无法使用Selenium访问废料数据的链接

6 月前

Avraham · 如何在JS中将beautifulsoup中的文本设置为.innerText而非.textContent

10 月前

Rayan CH TFG · 需要解释Python中的web抓取lambda函数

10 月前

hyoni · 使用Python BeautifulSoup进行网页抓取

10 月前

Canberra · 从网站上删除纬度和经度

10 月前

bill999 · 如何从抓取的网站创建数据框架,保留数据的嵌套结构

11 月前

CompressedSquid · 在TAMU餐饮网站上无法使用Selenium进行动态网页浏览

11 月前