分类目录归档:rsyslog

rsyslog direct模式性能测试

测试方式与上一篇文章http://www.yubingzhe.com/170.html一样,在此就不多说了。这里只将rsyslog的配置文件列出:

module(load=”imtcp”)
input(type=”imtcp” port=”5145″ ruleset=”syslog−test”)
template(name=”syslog−template”
type=”string”
string=”%msg%\n”)
ruleset(name=”syslog−test”)
{
    action(
    type=”omfwd”
    Target=”10.232.38.176″
    Port=”1234″
    Protocol=”tcp”
    template=”syslog−template”
    name=”act_syslog”
    queue.type=”direct”
    queue.filename=”syslog_test_queue”
    queue.workerthreads=”1″
   )
   stop
}

继续阅读

rsyslog 替换logstash-shipper 方案 2 rsyslog omfwd 性能测试

本文主要测试rsylog的日志转发能力,所得数据作为rsyslog转发能力的基准水平。

 
一:准备工作:
1.rsyslog v8.8.1的安装:参见http://www.yubingzhe.com/?p=157
2.rsyslog-ng的安装:首先要安装epel包,
到此下载或wget:http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm  然后yum install rsyslog-ng -y
3.elk的安装:见官网

二.测试机结构与各个组件的解释:rsyslog_test

1.测试机性能:
测试机A:4核4G
测试机B:4核8G
2.各个组件的解释:
使用syslog-ng自带的loggen日志生成器生成日志。
使用rsyslog omfwd 模块向logstash的tcp_input发送日志,同时logstash 将日志转至 null output,即logstash空转,这样做的主要目的是为了去掉logstash所造成的性能瓶颈。
这里使用了rsyslog impstat模块用来进行rsyslog的性能记录。
为了可以更直观的观察rsyslog的性能数据,这里使用了logstash来处理rsyslog-impstat输出的日志,并输入到elasticsearch中,并使用kibana3做为数据展现。
另外使用zabbix监控各个测试机的基础信息,如cpu负载,内存,网络带宽等等。

继续阅读

rsyslog v8.8 替换logstash-shipper 方案 1

本文主要介绍使用rsyslog 代替logstash-shipper的解决方案
一 rsyslog架构说明:
rsyslog的几大优点(官网):高性能,高安全性,模块化设计
当在不方便启动java程序的服务器上收集日志时可以使用rsyslog作为log-shipper将日志发到logstash-indexer中,由于rsyslog提供了队列机制,所以新的结构图如下:
屏幕快照 2015-04-04 下午12.10.34

继续阅读