代码之家 › 专栏 › 技术社区 › Shane

如何使用python绕过WP超级缓存?

urlopen urllib2 wordpress python php

Shane · 技术社区 · 14 年前

我试图从一个经常更新的博客中收集数据,所以我只使用一个while循环,其中包括urllib2.urlopen(“http:\example.com网站)每5分钟刷新一次页面以收集所需的数据。

但我注意到,这样做并不能获得最新的内容,这与我通过浏览器(如Firefox)看到的内容不同,在检查了Firefox的源代码和我从python获得的同一个页面后,我发现是WP超级缓存阻止了我获得最新的结果。

即使我在python代码中伪造了头文件,我仍然会得到相同的缓存页。所以我想知道有没有办法绕过WP超级缓存?为什么Firefox中根本没有这样的超级缓存呢?

1 回复 | 直到 14 年前

Oli 14 年前

你试过用一些无害的数据来改变网址吗?像这样:

import time
urllib2.urlopen("http:\example.com?time=%s" % int(time.time()))

http:\example.com?time=1283872559

推荐文章

user1431084 · 如何获取重定向url?

6 年前

jman · 为什么urllib2需要很长时间才能读取?

7 年前

Vishal · 图像链接下载适用于Python 3,但不适用于Python 2.7

7 年前

Javiar Sandra · 对输入来自文本框的网页进行爬网

9 年前

user2278224 · Python XML解析失败

9 年前

michaeluskov · Urllib2下载损坏的二进制数据

10 年前

confused00 · Python-填写登录表单,然后填写另一个只有在登录后才能访问的表单

10 年前

Christopher W · 无法使用python中的无头浏览器提交表单/登录Nike.com

10 年前

ehsan shirzadi · 使用urllib2发出带有标题的post请求

10 年前

welthenwel · 从Python2到Python3的DeadLink异常

10 年前