代码之家  ›  专栏  ›  技术社区  ›  critical

fluent和webhdfs文件名,带有197001011

  •  0
  • critical  · 技术社区  · 9 年前

    我在ubuntu 14.04上运行td代理,配置如下:

    
        <source>
         type tail
         format json
         path /path/tomcat/logs/file-input.log
         tag bhc.hdfs
         pos_file /var/td-agent/file.pos
         </source>
    
        <match bhc.hdfs>
         type webhdfs
         port 50070
         host my.host.name
         path /hdfs/path/file.${hostname}.%Y%m%d.log
         username user
         flush_interval 10s
         output_include_time false
         output_include_tag false
         output_data_type json
        </match>
    

    在目录中记录源文件 /路径/tomcat/logs/file-input.log 仅包含结构化的json数据。 Ntp守护程序已安装并正在运行,但当td代理在hdfs中创建文件时,文件名的日期为19700101。 发生了什么?

    1 回复  |  直到 9 年前
        1
  •  1
  •   Satoshi Tagomori    9 年前

    Fluentd记录有时间,webhdfs插件使用记录的时间戳而不是当前时间创建文件。

    tail 插件使用名为的字段 time 默认记录时间。如果日志数据具有任何其他时间信息字段,则可以使用 time_key time_format .

    另请参见: http://docs.fluentd.org/articles/in_tail