代码之家  ›  专栏  ›  技术社区  ›  Sanjiv

数据在kafka服务器中存储多长时间?

  •  7
  • Sanjiv  · 技术社区  · 6 年前

    假设我正在从卡夫卡制作人向卡夫卡消费者发送一些消息,那么它将存储在哪里?是否有用于存储消息的数据库?消息存储多长时间?

    谁能解释一下吗。

    1 回复  |  直到 6 年前
        1
  •  12
  •   Giorgos Myrianthous    6 年前

    卡夫卡主题制作/使用数据。A. 话题 是卡夫卡为记录流提供的核心抽象。主题类似于典型数据库中的表。

    如果要将数据从Kafka移动到数据库中(反之亦然),可以使用Confluent的捆绑连接器,它可以 import and export data from some of the most commonly used data systems.

    关于可以在主题中保留数据的期限,您需要查找保留策略和期限。

    Kafka群集可持久保存所有已发布的记录 没有使用可配置的保留期来消耗它们。对于 例如,如果保留策略设置为两天,则对于 记录发布后几天,即可供使用, 之后,它将被丢弃以释放空间。

    保留期是一个可配置的参数,允许您根据需要将数据存储多长时间。例如,如果配置以下参数;

    log.retention.minutes=3
    log.cleanup.policy=delete
    

    主题将保留一条消息3分钟。有关这些参数的更多详细信息,请查看 broker configuration parameters 您还可以在其中找到与主题保留相关的更多参数的信息(例如 log.retention.bytes ,则, log.segment.bytes ,则, log.retention.check.interval ,则, log.roll.ms 等等)。

    我给你的建议是从介绍性材料开始,可以在 official documentation 为了了解卡夫卡的工作原理