代码之家 › 专栏 › 技术社区 › Brian

如何统计CloudWatch日志中IP地址的出现次数

amazon-cloudwatch amazon-web-services

Brian · 技术社区 · 5 年前

假设我有一个云表日志,如下所示:

最左边的IP表示请求的来源。

是否可以列出在我指定的时间范围内每个IP的出现次数?

我是说我想创建如下数据:

time range: 2019-06-02 00:00:00 - 2019-06-04 13:00:00
number of occurrences of `172.31.13.80`: 130
number of occurrences of `172.31.25.110`: 112
number of occurrences of `172.31.8.124`: 99
number of occurrences of `172.31.8.121`: 86

看来 CloudWatch Logs Insights 能做一些我想做的事但我还没想好如何用真知灼见做到这一点。

有人知道如何计算每个IP的出现次数吗?

0 回复 | 直到 5 年前

guest 5 年前

如果您的目标是分析实际的远程IP地址并使用ELB,那么远的最好是抓住 ELB access logs 分析这些这将提供以下好处:

访问源请求数据,包括客户端IP和SSL参数。
计时信息,包括失败请求的计时。
不需要编写公开请求头的自定义日志格式。

AWS Athena 有预先建立的查询来访问这些日志,而自由神弥涅尔瓦的SQL类查询语言比云计算日志提供了更大的灵活性。您还可以将日志发送到CloudWatch并使用Insights(它可以识别ELB日志格式),但这似乎是不必要的工作。

Darren Reddick 5 年前

“弹性负载平衡在最大努力的基础上记录请求我们建议您使用访问日志来了解请求的性质,而不是作为所有请求的完整记帐。”

https://docs.aws.amazon.com/elasticloadbalancing/latest/application/load-balancer-access-logs.html

如果精度很重要并且使用ELB日志,则值得记住我在过去做过一些分析HTTP访问日志和ELB日志的工作,发现它们之间的请求计数有相当大的差异(HTTP日志是准确的)

推荐文章

user1154422 · 在AWS中,我是否可以为Cloudwatch创建一个自定义事件,以指示自动缩放以缩放EC2?

6 年前

Luis · CloudWatch自定义EC2内存度量和警报,具有自动缩放策略

6 年前

Monika Samant · 尝试自动化EC2实例的AMI备份

6 年前

user3407267 · 如何获取集群信息以调用REST API(从驱动程序中)?

7 年前

Nani · 如何在AWS中终止带有特定标记的ec2实例时获取电子邮件通知

7 年前

Ethan Harlig · 在将来的单个指定时间,仅调用AWS Lambda函数一次

7 年前

american-ninja-warrior · 您如何看待控制台。amazon lambda函数的日志输出

7 年前

theduck · ECR事件后触发AWS lambda函数

7 年前

alexroussos · 调度周期>1天的Lambda调用CloudWatch警报

7 年前

Sean256 · 我如何才能让我们的nginx access\u日志不在时区偏移中放置:呢?

7 年前