代码之家  ›  专栏  ›  技术社区  ›  Peladao

支持分布式任务持久性的.Net/Mono分布式计算框架

  •  0
  • Peladao  · 技术社区  · 14 年前

    我正在为.Net/Mono的分布式计算寻找一个框架(开源),它不仅基于任务,而且支持分布式任务的持久性。

    因此,要分发的工作(子组件)是有状态的,应该在多个会话中在worker中长期存在(在线或离线)。这将需要辅助进程进行本地持久性存储(序列化)(子组件非常大,在每个会话中将它们来回发送到主节点将不太有效)。

    该框架应通过允许使用不同的实现(即本地集群、互联网、单机、第三方云平台)来提供所使用的实际底层网络或云平台的透明度。

    如果在模型/仿真级别上,性能可以根据网络延迟进行调整(例如,通过调整在worker和Master之间发送的数据的频率和粒度),那就更好了。

    我看了看恩格里德,但这似乎还没有完成和日期。我还查看了其他一些常见的嫌疑犯(MPAPI、MPI.NET、Alchemi等),但据我所知,这些都不符合要求。如果没有这样的框架存在,我对设计这样一个框架的技巧很感兴趣。

    2 回复  |  直到 14 年前
        1
  •  1
  •   Community Reversed Engineer    7 年前

    您看过Microsoft DSS/CCR框架吗?它是一个SOA并发框架,最初是在robotics平台上开发的。我们以前用它来创建一个交通模拟器。它本身是不开放的,但也不贵,我相信对学术界来说是免费的。

    您必须编写创建并行作业的逻辑,但这在理论上并不困难。这个框架有一堆管理工具。

    http://wiki.apache.org/hadoop/HadoopStreaming Is there a .NET equivalent to Apache Hadoop?

    同样在上面提到的是myspace技术 http://code.google.com/p/qizmt/

        2
  •  0
  •   Nicolas    14 年前

    看看Gearman( http://gearman.org/