代码之家  ›  专栏  ›  技术社区  ›  Derrops

ec2启动时间行为

  •  0
  • Derrops  · 技术社区  · 6 年前

    我有一个用例,我们有一个非常大的计算任务,可以分解成许多小的工作单元相当有效。可以有效地让我们说1000个小时的计算工作为一个 m4.large

    到目前为止,我已经设置了AWS批,我没有使用任何超过20 m4.5大

    所以我的问题是我能发射成千上万的导弹吗 实例点播?如果是这样的话,我会在什么样的时间里寻找所有的例子来达到这个目标呢 Running 州。

    2 回复  |  直到 6 年前
        1
  •  2
  •   John Hanley    6 年前

    第一步:打开AWS的支持票。你将需要得到你的帐户批准,信用检查等。我的客户是非常大的公司,所以他们的信贷和审批过程很容易。如果你是个小家伙,我不知道。

    第三步:仔细考虑所需的网络带宽。您是否需要安置组或非常高速的内部网或互联网连接?

    步骤4:准备好不能启动具有特定实例类型的所有实例(容量不可用错误)。选择一些你可以依靠的实例。

    步骤5:创建您自己的软件,我使用Python来启动实例、执行更新、安装软件等。然后您可以使用boto3ec2api轮询实例,以确定所有实例何时都在运行。1000个实例的时间长度与1个实例的时间长度相差不大。

    现在面对现实世界。如果您的作业需要1000个小时,那么启动1000个实例不会将其减少到1个小时,除非您有一个真正可扩展的软件设计,并且需要最少的机器间通信。一旦超过10个系统,网络带宽和通信开销就成了一个问题。尽管AWS的资源非常庞大,但由一个客户一次启动1000个EC2实例并不是常见的启动案例。

    我也不会启动1000个实例来将处理时间缩短到10分钟。您的实例可能需要10分钟才能联机、更新、同步等。这意味着您将花费预算的50%用于等待时间。对于今天非常大的工作,我们更喜欢使用Hadoop/Spark,在这里可以扩展到数百台机器。

        2
  •  1
  •   John Rotenstein    6 年前

    您可以联系AWS客户服务以提高EC2限制(使用中显示的链接) 限制 部分)。他们将验证您的用例。

    现货定价 降低成本。Spot实例需要更长的时间来提供。

    Gigaom | Cycle Computing once again showcases Amazon’s high-performance computing potential

    也有类似的服务 Spotinst 这可以帮助您以尽可能低的成本配置服务器。