Logkit - 通用的日志收集工具
Apache-2.0
跨平台
Google Go
软件简介
logkit是七牛Pandora开发的一个通用的日志收集工具,可以将不同数据源的数据方便的发送到Pandora进行数据分析,除了基本的数据发送功能,logkit还有容错、并发、监控、删除等功能。
logkit详细的文档可以参见WIKI页面。
支持的数据源
-
文件(包括csv格式的文件,kafka-rest日志文件,nginx日志文件等,并支持以grok的方式解析日志)
-
MySQL
-
Microsoft SQL Server(MS SQL)
-
Elasticsearch
-
MongoDB
-
Kafka
-
Redis
-
TCP/UDP/Unix Socket
工作方式
logkit本身支持多种数据源,并且可以同时发送多个数据源的数据到Pandora,每个数据源对应一个逻辑上的runner,一个runner负责一个数据源的数据推送,工作原理如下图所示