我知道可以检查URL是否重定向,如下面的问题及其答案中所述。
How to check if the url redirect to another url using Python
eq = urllib2.Request(url=url, headers=headers) resp = urllib2.urlopen(req, timeout=3) redirected = resp.geturl() != url # redirected will be a boolean True/False
但是,我有数百万个URL的列表。目前讨论的是其中一个是有害的URL还是重定向到有害的URL。
你可以做一个 HEAD requests
HEAD
import requests original_url = '...' # your original url here response = requests.head(original_url) if response.is_redirect: print("Redirecting") else: print("Not redirecting")