第三次热重启后,GAN发散

我一直在与ClusterGAN合作,最初基于这里的一个: https://github.com/zhampel/clusterGAN

在尝试稳定数据训练的同时,我整合了一系列当前策略,比如使其完全卷积,包括光谱范数,使用热重启,以及添加实例噪声。虽然我能够解决模式崩溃的问题,并且可以得到有用的输出图像,但最终会出现分歧,我想知道可能会发生什么(见下图)。要明确的是,模型的输出实际上在第69纪元(在这次运行中)前后非常有用,就在最后一次重新启动之前,但我仍然很好奇可能出了什么问题,部分原因是为了我自己的理解,但也为了通知未来的探索。这是不是太合适了?

后来 在训练中,但最终仍会出现分歧(并且不一定会产生清晰的“更好”的图像)。我在手机上运行,所以我想让模型尽可能小,这样既可以提高推理速度,又可以减小应用程序的大小。

更新:增加初始学习率可以稳定这段时间的训练(尽管我很好奇,如果我再进行一次热重启循环,它是否还会偏离)。