代码之家 › 专栏 › 技术社区 › kalyan chakravarthy

grok表达式,用于拉括号中的字符串

logstash-grok logstash

kalyan chakravarthy · 技术社区 · 6 年前

我正在尝试使用grok解析日志消息。下面是示例消息

[de4131185bb28bcd5f3019b168106682] [172.69.62.54] [/v2/user.json] Returned lineup_key for user OAuth [ OAuth realm="", oauth_consumer_key="qQRye5YLMtdw2TNmoiayMptwdbW29y3pTlaIj0lx", oauth_token="ArFbNvrxntvYIbA2QArJnCmbGCBQe3P5I1YHX8TX", oauth_signature_method="HMAC-SHA1", oauth_signature="o1DhpgEX7QyCDjDvPceHzJrm7h4%3D", oauth_timestamp="1529081887", oauth_nonce="0C6F8BAC-B3E3-44F3-A3BD-F04CF7815580", oauth_version="1.0" ] : [ MjE2LDI1OA== ]

使用的grok表达式如下

UMSAPPLOGDATA ^\[%{WORD:id}\]\s\[%{IP:ip}\]\s\[%{URIPATHPARAM:uri}\]%{GREEDYDATA:logMessage}

现在我要将下面的整个oauth片段提取到名为oauth_parameters的单独变量中。

[ OAuth realm="", oauth_consumer_key="qQRye5YLMtdw2TNmoiayMptwdbW29y3pTlaIj0lx", oauth_token="ArFbNvrxntvYIbA2QArJnCmbGCBQe3P5I1YHX8TX", oauth_signature_method="HMAC-SHA1", oauth_signature="o1DhpgEX7QyCDjDvPceHzJrm7h4%3D", oauth_timestamp="1529081887", oauth_nonce="0C6F8BAC-B3E3-44F3-A3BD-F04CF7815580", oauth_version="1.0" ]

我如何扩展现有的grok表达式。

同样感谢你的帮助。

1 回复 | 直到 6 年前

Sufiyan Ghori 6 年前

你可以写一个 custom grok pattern 以下面的格式,

(?<field_name>the pattern here)

你的模式是,

\buser OAuth (?<outh_parameters>(.*)oauth_version="\d{1,2}.\d{1,2}" ])

它会输出,

{
  "outh_parameters": [
    [
      "[ OAuth realm="", oauth_consumer_key="qQRye5YLMtdw2TNmoiayMptwdbW29y3pTlaIj0lx", oauth_token="ArFbNvrxntvYIbA2QArJnCmbGCBQe3P5I1YHX8TX", oauth_signature_method="HMAC-SHA1", oauth_signature="o1DhpgEX7QyCDjDvPceHzJrm7h4%3D", oauth_timestamp="1529081887", oauth_nonce="0C6F8BAC-B3E3-44F3-A3BD-F04CF7815580", oauth_version="1.0" ]"
    ]
  ]
}

推荐文章

Dharmin Fadia · 我希望使用logstash将消息值设置为feild

2 年前

phenric · ElasticSearch 6.2:从MySQL自动完成搜索

6 年前

user84592 · 如果日志包含特定单词,则忽略并移动到下一个模式

6 年前

pm1391 · 通过公共IP将Logstash连接到Azure中的Kafka

6 年前

A. Kendall · 使用grok匹配自定义样式的电子邮件地址

6 年前

Manikandan · 日志存储中处理的记录数

6 年前

Ashok Reddy · 如何删除filebeat标记,如id、主机名、版本、grok\u失败消息

6 年前

Ananda Kumar N C · Logstash 6.2.3检测到6。x及以上群集:“type”事件字段不会用于确定文档类型

6 年前

Muhammad Idrees · 使用logstash将csv文件导入elasticsearch时出错

6 年前

osexp2000 · logstash->elasticsearch:如何在输出新数据之前删除所有数据

6 年前