代码之家 › 专栏 › 技术社区 › Nathan Verrilli

如何在客户端javascript中多线程下载

file-writing download multithreading javascript

Nathan Verrilli · 技术社区 · 6 年前

我有非常大(50-500GB)的文件可供下载,而浏览器引擎(edge、chrome或firefox)提供的单线程下载是一种非常缓慢的用户体验。我曾希望通过使用多线程下载文件块来加快速度,但我一直遇到浏览器沙盒问题。

到目前为止,我发现最好的方法是下载所有数据块并将其塞入本地存储,然后将其作为blob下载,但我担心本地存储这么多数据的软限制(以及将所有数据拼接在一起时该方法的性能)。

理想情况下,已经有人解决了这个问题(而我的搜索技能还不能胜任找到它的任务)。我唯一发现的是服务器端解决方案(可以直接访问文件系统)。或者,我希望另一种方法不太可能破坏浏览器安全或限制对话框,而更可能提供我的用户所寻求的性能。

非常感谢!

1 回复 | 直到 6 年前

Nathan Verrilli 6 年前

一个人不能。浏览器有意限制与网站的连接数量。为了在今天的浏览器中绕过这一限制,需要一个插件或其他方法来避开浏览器沙盒。

更糟糕的是,由于缺乏直接的文件系统访问,来自多个下载的数据必须被缓存,然后重新组装到最终文件中,而不是让多个写入程序写入同一个文件(并让操作系统缓存处理优化)。

TLDR:虽然可以有多个下载线程,但最大下载线程数很低(4),并且必须重复处理数据。 使用插件或实际下载程序,如FTP或Curl。

推荐文章

Zdanovskiy Mihail · Numba使用parallel=True标志集使Python崩溃

1 年前

Ma Joonyoung · 粗粒度和细粒度链表的时间比较

1 年前

Community wiki · SqlConnections,Parallel.For,一个旧的C#应用程序,初始化SqlConnections时随机挂起

1 年前

user1700890 · 了解交互式代理Python API中的线程

2 年前

AntonBoarf · 为什么要将实例变量指定给局部变量?

2 年前

rhymes · 如何让线程操作相同的java列表

2 年前

Ben · 错误:缺少类型说明符-假定为int。注意C++不支持默认初始化

2 年前

SRK7Kyros · 在Python中启动线程时是否使用整个处理器线程?

2 年前

MatiiFine · 在c++[duplicate]中的主源文件外使用std::thread

2 年前

Youssof. K. · 线程1:vector insert上的EXC_BAD_访问(代码=1,地址=0x0)

2 年前