代码之家  ›  专栏  ›  技术社区  ›  Christian Studer delphist

nosql与气象数据

  •  5
  • Christian Studer delphist  · 技术社区  · 14 年前

    所以有一个新的很酷的东西,这些nosql数据库。这就是我的数据:一行行一行的气象数据:值,表示在某个特定时间在某个特定地点(由气象组织编号而不是坐标标识)的特定测量值。

    不是每个站点都测量每个参数,也不是每个参数都一直测量。

    我在mysql中存储了这些数据(30年的小时值,结果是大约10亿个值)。持续的增长和不可预见的更多数据的增加让我有点头疼。

    读到基于文档的nosql系统似乎很容易扩展,我想知道nosql是否也是一个可行的气象数据存储概念。你有这方面的经验吗?

    更新:忘记了典型的查询:大多数查询需要时间轴上的数据:即,给我066310号站从2010年1月1日00:00到2010年3月1日00:00的温度。

    或者:给我一个特定站点所有参数的最新值。

    3 回复  |  直到 14 年前
        1
  •  2
  •   ChristopheD    14 年前

    当您的数据结构非常简单(例如一个简单的键值存储)/可预测,并且您不需要关系完整性,也不需要特别和/或高级查询时,nosql可能非常适合。

    但是,您在易扩展性方面的优势可能会在灵活性和一致性方面失去。

    最大的问题是要有一个简单的方法来组合对数据的复杂查询。我认为气象数据不是nosql的最佳候选数据。

    我个人更喜欢postgresql而不是mysql,在正确设置的情况下,我发现postgresql的可伸缩性非常强(即使有数百万甚至数十亿行)。

        3
  •  1
  •   ase    14 年前

    我发现现在很难找到一个连贯的答案,但我要说的是。

    1. 您的数据可以毫无问题地放入“nosql”数据存储中,如cassandra(可能还有更多)
    2. 许多“nosql”解决方案的无模式设计将使您受益(因为并非所有列(使用mysql术语)都始终存在)
    3. 基于时间的查询在cassandra中是没有问题的(签出基于timeuuid的密钥)
    4. 你似乎没有充分利用mysql的关系部分,所以在失去它的时候不会受到太大的伤害。
    5. 尽管你可能对mysql很在行,但既然你没有描述这类问题,你真的有什么问题吗?(只是感兴趣是很酷的)
    6. 在许多nosql数据存储中,像索引和搜索这样的东西是必须手动实现的,如果这让您害怕,那么您可能需要坚持使用sql。

    谢谢收听;)