C++并发获取请求

我建议你 libcurl . 我不太熟悉它,但它确实有一个 multi-interface 用于同时执行多个HTTP操作。

根据您使用的解决方案,可以在不使用多线程的情况下执行异步I/O。关键是要使用 select(2) 系统调用。 select() 获取一组文件描述符,并告诉您其中是否有可用的数据。如果有,您可以继续使用 read(2) 或 recv(2) 不用担心阻塞。

Web浏览器通常维护一个工作线程池来进行下载,并在它们变为空闲时将下载分配给它们。IIRC HTTP RFC有一些话要说,您应该同时与同一服务器建立多少同时连接:太多是不礼貌的。

如果有几个请求是针对同一个服务器的,并且它支持保持活动(几乎每个人都这样做),那么这可能比在多个同时请求中垃圾邮件要好。一般的想法是,您将一个TCP/IP连接用于串联的多个请求,从而节省握手开销。在我实现JavaHTTPn连接类的实践中,实际结果是,引入一个微妙的bug,当您重新使用新请求的连接时,不总是正确地清除状态,并且花费相当长的时间盯着日志记录/嗅探器数据;

libcurl当然支持keepalive(我认为默认情况下是启用的)。