Keras/Tensorflow中不同时期的训练率如何变化

当使用其中一个自适应优化器(Adam等)时,我们希望在EPHO内的训练期间更改连续小批量的学习率。 但我想知道,在连续的历代之间,学习速度会发生怎样的变化——是从上一个历代(预期行为)继续,还是从默认值初始化?

当然,术语“速率”指的是特定优化器用来确定实际权重的所有变量(更新wrt梯度)

还有,如果我运行N个时代的训练,停下来然后继续这样做,速度会发生什么变化:

model.fit(data1_train_x,data1_train_y, \

          initial_epoch=0, \
          epochs=20, \             

          validation_split=0.1,\
          batch_size=64, \
          callbacks=[tensorboard])

model.fit(data2_train_x,data2_train_y, \

          initial_epoch=20, \
          epochs=40, \

          validation_split=0.1,\
          batch_size=64, \              
          callbacks=[tensorboard])

我想我会在每个历元之后创建回调来记录速率并绘制它,但在我这样做之前,可能有人已经知道了答案。