Caffe-如何在同一卷积层上的数据点序列中生成3幅图像

我正在尝试实现一种LSTM网络。LSTM需要从多个图层的N幅图像中获取特征地图。因此,对于所有N幅图像,需要以相同的方式计算这些特征映射。因此,理想情况下,网络应该是这样的:

问题是,咖啡馆似乎没有办法做到这一点。我可以将我的数据点(由3幅图像组成)分割成这3幅图像,并可以在其上运行单独的Conv+Pool层来获得我的特征图。但这不是我在训练中想要的。在传递到LSTM分层网络之前,所有三个图像都需要具有相同的Conv+池权重。如何实现这一点。

我不能在这里使用批量大小的概念,因为我在多帧序列上训练,所以每个批量由M个数据点组成,每个数据点有3个图像。