卷取多挂起/忽略超时

我正在使用“滚动”curl多实现(比如 this SO post 基于 this cURL code )。它可以同时处理多达100个请求的数千个URL,其中5个脚本实例作为守护进程运行(是的,我知道,这应该用C或其他语言编写)。

问题是:在处理大约200000个URL之后(跨5个实例) curl_multi_exec() 脚本的所有实例似乎都已中断。我尝试关闭脚本,然后重新启动,同样的事情也会发生(不是在200000个URL之后,而是在重新启动时)。 脚本挂起调用 curl_multi_exec()。 .

我将脚本设置为“单一”模式,一次处理一个常规的旋度句柄,这很好地工作(但速度不是我需要的)。我的日志记录让我怀疑它可能碰到了一个缓慢/有问题的连接补丁(因为它似乎经常在URL上处理,然后再次挂起),但是 那就意味着我 CURLOPT_TIMEOUT 正在忽略单个句柄 . 或者可能只是通过curl运行那么多请求。

有人听说过这样的事吗?

示例代码(再次基于 this ):

//some logging shows it hangs right here, only looping a time or two
//so the hang seems to be in the curl call
while(($execrun = 
    curl_multi_exec($master, $running)) == CURLM_CALL_MULTI_PERFORM);

//code to check for error or process whatever returned

我有 CuropoptIt超时 设置为 120 但是在 curl_multi_exec()。 最后返回一些数据,等待了10分钟。

我还有很多测试/检查工作要做,但我想这可能会给某些人敲响警钟。