卡夫卡消费滞后的锯齿状模式是如何出现的?

刚发现低频锯齿状花纹是不真实的。这个解释很有趣。;

当我使用命令行( kafka consumer groups--bootstrap server=[…]--group[…]--describe )检查使用者延迟时,我看到总的使用者延迟(每个分区的延迟总和)波动非常快。在某一点上它大约是6000,2秒后它大约是1000,2秒后它可能是9000。

然而,所示图表似乎是基于以较低频率采集的样本,这违反了 nyquist_“shannon sampling thermo定理 。因此平均值不起作用,我们看到a moir pattern 。

结论:锯齿状图案只是一种错觉。

---

为了完整起见,这里有一个模拟描述了效果:

<预先> <代码>!/usr/bin/env python3号 “模拟卡夫卡消费滞后图的莫尔效应。 “” 随机进口 将matplotlib.pyplot导入为plt def x_noise_sampling()->int: 返回31+random.randint(-6,6) def main()->无: Max x=7000 采样率=97 xs=列表(范围(max_x)) ys=[x%100对于x in xs] xs2=[x+x_noise_sampling()对于范围内的x(0,max_x-100,采样率)] ys2=[ys[x2]对于xs2中的x2] PLT.图(图尺寸=(16,9)) plt.xlabel('时间') XTICK([]) (y]) plt.ylabel('消费者滞后') 信号,=plt.图(xs,ys,'-') 样品,=plt.图(xs2,ys2,'bo') 内插,=plt.图(xs2,ys2,'-') PLT.图例([信号,样本,内插]、[信号]、[样本]、[内插样本]) plt.savefig('锯齿云纹.png',dpi=100) 显示() 如果“名称”= 主体() < /代码>

使用命令行( kafka-consumer-groups --bootstrap-server=[...] --group [...] --describe ,我看到总的消费者滞后(每个分区的滞后总和)波动非常快。在某一点上它大约是6000,2秒后它大约是1000,2秒后它可能是9000。

然而,图中显示的似乎是基于频率较低的样本,这违反了 Nyquist–Shannon sampling theorem . 所以平均值不起作用,我们看到 Moiré pattern .

结论:锯齿状花纹只是一种错觉。

---

为了完整起见,这里是一个模拟,描述了效果:

#!/usr/bin/env python3
"""Simulate moire effect of Kafka-consumer-lag graph.
"""

import random

import matplotlib.pyplot as plt


def x_noise_sampling() -> int:
    return 31 + random.randint(-6, 6)


def main() -> None:
    max_x = 7000
    sample_rate = 97
    xs = list(range(max_x))
    ys = [x % 100 for x in xs]
    xs2 = [x + x_noise_sampling() for x in range(0, max_x - 100, sample_rate)]
    ys2 = [ys[x2] for x2 in xs2]

    plt.figure(figsize=(16, 9))
    plt.xlabel('Time')
    plt.xticks([])
    plt.yticks([])
    plt.ylabel('Consumer lag')
    signal, = plt.plot(xs, ys, '-')
    samples, = plt.plot(xs2, ys2, 'bo')
    interpolated, = plt.plot(xs2, ys2, '-')
    plt.legend([signal, samples, interpolated], ['Signal', 'Samples', 'Interpolated samples'])
    plt.savefig('sawtooth_moire.png', dpi=100)
    plt.show()


if __name__ == '__main__':
    main()