我试图从一个经常更新的博客中收集数据,所以我只使用一个while循环,其中包括urllib2.urlopen(“http:\example.com网站)每5分钟刷新一次页面以收集所需的数据。
但我注意到,这样做并不能获得最新的内容,这与我通过浏览器(如Firefox)看到的内容不同,在检查了Firefox的源代码和我从python获得的同一个页面后,我发现是WP超级缓存阻止了我获得最新的结果。
即使我在python代码中伪造了头文件,我仍然会得到相同的缓存页。所以我想知道有没有办法绕过WP超级缓存?为什么Firefox中根本没有这样的超级缓存呢?