python中的带宽限制

当然是扭曲的罐子。你想要 twisted.protocols.policies.ThrottlingFactory . 把你现有的工厂包在里面,然后把它交给任何想要的工厂。

Urllib2没有提供这样做的方法,因此您必须扩展它使用的一些类,并自己实现速率限制。你可能想看看 this question . 如果你决定写一个限制器,读一下 token bucket 和 leaky bucket 算法。

或者,您可以使用 pycurl 随着 CURLOPTMAXRECVSPEEDLARGE 选择权。

编辑: urlgrabber 包似乎也支持节流,并且可能比pycurl更容易理解。

如果您更喜欢使用事件循环模型编程,那么这里有一个扭曲的方法,在另一个答案中已经提到过。