代码之家  ›  专栏  ›  技术社区  ›  Bob King

在.NET中以编程方式分析日志文件

text-processing log4net logging parsing .net
  •  0
  • Bob King  · 技术社区  · 14 年前

    我们从客户机应用程序中使用log4net创建了大量(读取量:50000)相对较小(读取量低于500K,通常低于50K)的日志文件。典型的日志如下所示: 

    Start Painless log
Framework:8.1.7.0
Application:8.1.7.0
2010-05-05 19:26:07,678 [Login ] INFO  Application.App.OnShowLoginMessage(194) - Validating Credentials...
2010-05-05 19:26:08,686 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Checking for Application Updates...
2010-05-05 19:26:08,830 [1     ] INFO  Framework.Globals.InstanceStartup(132) - Application Startup
2010-05-05 19:26:09,293 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Purchase History Data>:True
2010-05-05 19:26:09,293 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Shopping Assistant>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Shopping List>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Teeth>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Scanner>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Value Comparison>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Lotus Notes CRM>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Salesforce.com>:False
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Lotus Notes Mail>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Sales Leads>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Configurator>:True
2010-05-05 19:26:09,297 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Validating Database...
2010-05-05 19:26:10,342 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Validating Database...
2010-05-05 19:26:10,489 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Global Handlers...
2010-05-05 19:26:10,495 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Starting Main Window...
2010-05-05 19:26:10,496 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Initializing Components...
2010-05-05 19:26:11,145 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Restoring Location...
2010-05-05 19:26:11,164 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Plug Ins...
2010-05-05 19:26:11,169 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Panels...Order Manager
2010-05-05 19:26:11,181 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Orders...
2010-05-05 19:26:11,274 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Done Loading 1 Order
2010-05-05 19:26:11,314 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Panels...All Products
2010-05-05 19:26:11,471 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Purchase History Data
2010-05-05 19:26:11,545 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Shopping List
2010-05-05 19:26:11,597 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Teeth
2010-05-05 19:26:11,768 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Scanner
2010-05-05 19:26:11,810 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Value Comparison
2010-05-05 19:26:11,840 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Sales Leads
2010-05-05 19:26:11,922 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...(Done!)
2010-05-05 19:26:11,923 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Adding Handlers...
2010-05-05 19:26:11,925 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Main Window Handlers...
2010-05-05 19:26:11,932 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Main Menu...
2010-05-05 19:26:11,949 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Initialization Complete.
2010-05-05 19:26:13,662 [1     ] INFO  Framework.ProductSearch.Search(342) - User entered term: <>


    2010-05-05 20:05:24,951 [1     ] INFO  Framework.ProductSearch.Search(342) - User entered term: <kavo>

    得到“卡沃”这个词,这样我们就能知道人们是什么 真正地 正在搜索。

    我尝试过手工解析文本(使用String.Split()和类似的方法),但感觉就像是在重新发明轮子。

    4 回复  |  直到 14 年前
        1
  •  4
  •   Randy Levy    14 年前

    Log Parser ( Download here ). 该工具还公开了一个COM接口,允许您以编程方式访问结果。 This blog post 有一个小的(部分)说明,说明如何在2.1版中实现这一点。

        2
  •  1
  •   Bob King    14 年前

        3
  •  0
  •   Eric    14 年前

    这看起来像是一个典型的 .NET regular expressions

        4
  •  0
  •   Chad    14 年前

    log4net不能读取自己的格式模式吗?一旦它读回格式,你就不能只解析%message%部分吗?

    一个更好的问题是,为什么不在进行日志调用的同时将搜索项写入数据库,或者通过log4net创建另一个日志文件,只记录%message%,而只写入该日志的是搜索项?我真的不认为你想解析日志,如果你可以避免它…至少向前看。

    推荐文章
    Abdullah Chaudhry  ·  json文件上的文件旋转和删除
    1 年前
    Patrick  ·  即使此时我没有实现日志语句,控制台输出中的错误日志从何而来?
    2 年前
    twisted  ·  将apache2 CustomLog管道传输到以其他用户身份运行的程序
    2 年前
    Max S  ·  如何从CMD读取日志的所有输出
    6 年前
    Ivan Denchev  ·  Apache-过去一小时的日志
    6 年前
    Ev3rlasting  ·  在Logback[重复]中重写从根目录继承的记录器的附加程序
    6 年前
    ninja.coder  ·  Log4j中的字符串串联性能
    6 年前
    Rich  ·  如何记录日志。是否与操作员一起调试?
    6 年前
    Matthew Flynn  ·  在运行Asp的Webapi 2上使用Serilog创建ILogger。净核心2
    6 年前
    EliteRaceElephant  ·  为什么ChromeDriver一直记录到控制台?
    6 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号