代码之家 › 专栏 › 技术社区 › kerem

趋势超过1亿行

sql

kerem · 技术社区 · 14 年前

我有一个系统,每秒记录一些测量值。存储趋势数据的最佳方法是什么?这些数据是对应于特定秒数的值?

1 day = 86.400 seconds
1 month = 2.592.000 seconds

目前有50个表将趋势数据分组,每个表有20列。这些表包含超过1亿行。

    TREND_TIME datetime (clustered_index)
    TREND_DATA1 real
    TREND_DATA2 real
    ...
    TREND_DATA20 real

3 回复 | 直到 14 年前

Gilad 14 年前

我将改变数据保存方法,而不是将“原始”数据保存为值,而是将5-20分钟的数据保存在一个数组(内存,BL端),使用基于LZ的算法压缩该数组,然后将数据作为二进制数据存储在数据库中。另外,最好保存Max/Min/Avg/等。。二进制块的信息。

Robert Christie 14 年前

你考虑过吗 RRDTool -它为时间序列数据提供循环数据库或循环缓冲区。您可以按自己喜欢的时间间隔存储数据,然后定义合并点和合并函数,例如(sum、min、max、avg)在给定的时间段、1秒、5秒、2天等。因为它知道您需要什么合并点,所以它不需要在对所有数据点进行合并后存储它们。

如果您确实需要所有的数据点,请考虑仅将其用于聚合。

Adam Houldsworth 14 年前

1秒到多个趋势首先显示一个单独的表,其中有一个seconds表外键。或者,如果“许多趋势值”由列而不是行表示,则可以始终将列附加到seconds表并产生空值。

你试过吗?表现差吗?

推荐文章

Community wiki · 我应该写更多的SQL来提高效率,还是应该写更少的SQL来减少bug?

1 年前

Community wiki · SQL语法新手

1 年前

Thomas Leplus · PLS-00306:过程调用中的参数数量或类型错误

1 年前

KateMak · 是否将多行中的多列与唯一id组合?

1 年前

Mateusz UrbaÅski · 在PostgreSQL中按计算经验分组

1 年前

Karuna · SQL中列内的筛选器[重复]

1 年前

Irvan Affandy · 为另一个选择选择声明的键

1 年前

Community wiki · 这个MySQL语句出了什么问题?

1 年前

user22329205 · 如何使用Google BigQuery中的条件,根据特定列值连接列的N行?

1 年前

Community wiki · 优化从同一表中提取的多列的查询

1 年前