终止抢占实例的GCP负载平衡器行为

是否继续向终止的VM发送请求?

是的,负载平衡器将继续向实例发送请求。

这并不是说负载平衡器不够智能。负载平衡器不知道您的请求是否可以重试。该决定应由客户机/后端逻辑做出。

您的用例不是抢占式实例的好例子。抢占式实例将每24小时终止一次。如果您的目标是节约成本,请比较长期实例定价和先发制人定价的成本。节省的成本不足以证明工程、测试和质量保证成本的合理性。

我们也有类似的问题。我们几乎已经通过负载平衡器健康检查解决了这个问题(在非常高的负载条件下有一些问题)。 这个技巧现在是在抢占信号发出后10-15秒内,负载平衡器会将实例标记为不健康,因为停止向该实例发送新请求。

1. 负载平衡器每3秒钟检查一次实例的运行状况,在第三次运行状况检查失败后,将实例标记为不健康。因此,负载平衡器将在大约10秒钟内标记实例,并停止发送新请求。
2. Java中的陷阱抢占信号 ContextCloseEvent (Spring boot) 或 Runtime.getRuntime().addShutdownHook()
3. 将健康检查设置为失败,即健康检查端点将开始返回404。
4. 在关机程序块中休眠15-25秒,让进程和新请求完成

5. 
   @EventListener
   public void onShutdown(ContextClosedEvent event) {
   
   log.warn("shutdown event received {}", event.getSource().toString());
   log.warn("/ping will respond 404, Main thread will sleep for 20 seconds to allow pending tasks to complete");
   
   isShuttingDown = true;
   try {
       Thread.sleep(SLEEP_BEFORE_SHUTDOWN_MILLIS);
   } catch (InterruptedException e) {
       log.error("sleep before shutdown interrupted", e);
   }
   
   log.warn("Shutting down now, daemon threads will continue work");
   releaseResources(); 
   
   log.info("{} {} on {} stopped.", NAME, VERSION, HOSTNAME);
   
   
   }
   
   //health endpoint
   @RequestMapping(value = "ping", produces = MediaType.TEXT_PLAIN_VALUE)
   public ResponseEntity ping() {
       if(isShuttingDown()) {
           log.warn("health failed - shutting down soon");
           return new ResponseEntity(HttpStatus.NOT_FOUND);
       }
       return ResponseEntity.ok("pong");
   }