或者是灵活的拼花地板?

我想你可能是想把圆钉子塞进一个方孔里。听起来好像您正在接收一个具有未知模式的事件流,并且希望将其存储为针对已知模式进行优化的格式。

我想您可以在跟踪模式的同时缓冲一定数量的事件(比如,100万个事件),然后在达到该数量后清除到一个文件,然后再次开始缓冲。缺点是每个文件都会以不同的模式结束,这使得跨多个文件处理数据变得不切实际。

另一种解决方案是研究无模式的数据存储,尽管在S3上使用ORC或Parquet并不能获得相同的性价比优势。

还有其他策略,但你最好的长期解决方案是与管理你摄入的事件来源的人交谈,并找到一种预先确定模式的方法。