rsyslog统一日志收集系统

rsyslog统一日志收集系统
一 rsyslog相关基础
A rsyslog 日志服务器的优势:
B rsyslog配置文件模块
C rsyslog配置文件规则
二 搭建rsyslog统一收集sshd登录日志
A 客户端配置
B 搭建服务端
三 rsyslog日志模板:

一 rsyslog相关基础

A rsyslog 日志服务器的优势:
Rsyslog的全称是rocket-fast system for log，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其结果输出的到不同的目的地。 rsyslog可以提供超过每秒一百万条消息给目标文件。

特点：

多线程

可以通过许多协议进行传输UDP，TCP，SSL，TLS，RELP；

直接将日志写入到数据库;

支持加密协议：ssl，tls，relp

强大的过滤器，实现过滤日志信息中任何部分的内容

自定义输出格式；

B rsyslog配置文件模块
rsyslog有完善的input-filter-output模块,但是由于现在有更强大的elk日志套件, rsyslog在我手中的用途只是用来统一收集某类日志(如sshd登录日志)到指定服务器,后续的再将该日志导入elk系统 因此这里不再详述rsyslog的这些模块,有兴趣的网上找相关文档

C rsyslog配置文件规则
rsyslog.conf中日志规则的典型格式如下:

facitlity.priority action

#日志类型.日志级别 存储位置/动作

#日志类型和日志级别都可以用*(星号)表示所有

• facility: 日志类型

• priority: 日志级别:

• action：日志动作

1）记录到普通文件或设备文件
. /var/log/file.log #绝对路径
. /dev/pts/0 #设备文件
2）将日志通过管道送给其他命令处理
*.error |awk ….
3）将日志发送到特定的主机
*.emerg @192.168.10.1
4）”用户”，表示将日志发送到特定的用户
*.error root #发送给root用户
*.error * #发送所有登录到系统的用户

• 连接符号

. #表示大于等于xxx级别的信息；
.= #表示等于xxx级别的信息；
.! #表示在xxx之外的等级的信息；
格式定义案例 定义在/etc/rsyslog.conf配置文件中

# 表示将mail相关的,info级别及以上级别都记录到mail.log文件中
mail.info  /var/log/mail.log 
# 表示将auth相关的基本为info信息记录到远程主机
auth.=info  @10.0.0.1  使用UDP协议发送到远端主机,默认514端口
auth.=info @@10.0.0.1  使用TCP协议发送到远端主机,默认10514端口
# 表示记录与user和error相反的
user.!error 
# 表示记录所有日志信息的info级别及以上级别
*.info 
# 所有日志及所有级别信息都记录下来
*.*
# 丢弃日志[~] 
cron.* ~

PS：多个日志来源可以使用,号隔开,如cron.info;mail.info。

二 搭建rsyslog统一收集sshd登录日志
A 客户端配置
yum install -y rsyslog
​

# 清除配置文件中注释,最后一行添加服务端类型
cat >/etc/rsyslog.conf <<EOF
# 默认配置
$ModLoad imuxsock  # provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
​
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none    /var/log/messages
authpriv.*          /var/log/secure
mail.*              -/var/log/maillog
cron.*              /var/log/cron
*.emerg             :omusrmsg:*
uucp,news.crit      /var/log/spooler
local7.*
#增加配置
authpriv.*          @172.17.19.29:514
​
EOF

B 搭建服务端

yum install -y rsyslog
​
# 清除配置文件中注释,在中间加入接收端配置
cat >/etc/rsyslog.conf <<EOF
# 默认配置第一部分
$ModLoad imuxsock  # provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
​
#--------------新增配置-开始--------------
#开启udp接收日志
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 172.17.0.0/16
#定义日志格式模板(方便后续logstash读取)
$template myformat,"%TIMESTAMP::10:date-rfc3339% %TIMESTAMP:8:15% %hostname% %fromhost-ip% %syslogtag% %msg%\n"
#定义日志存放路径及文件格式
$template sshRemote,"/data/fw_logs/ssh_%$YEAR%-%$MONTH%-%$DAY%.log"
#调用日志模板和文件格式,并过滤部分信息
:fromhost-ip, !isequal, "127.0.0.1" ?sshRemote;myformat
#定义生成的日志文件和文件夹(也是方便logstash读取)
$FileCreateMode 0644
$DirCreateMode 0755
$Umask 0022
#--------------新增配置-结束--------------
​
#默认配置第二部分
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none    /var/log/messages
authpriv.*          /var/log/secure
mail.*              -/var/log/maillog
cron.*              /var/log/cron
*.emerg             :omusrmsg:*
uucp,news.crit      /var/log/spooler
local7.*
EOF

重启服务并验证

systemctl restart rsyslog

#重启服务后,客户机多次ssh登录验证服务端有没有产生日志

#也可以用logger命令模拟产生日志
logger “rsyslog test from 172.17.19.31” -p authpriv.info
三 rsyslog日志模板:
参考网址:
日志模板中各变量对于的数据样式如下

msg:  Hello, Logger,
rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger, 
HOSTNAME: vm-28-234-pro01-hp, 
FROMHOST: vm-28-234-pro01-hp, 
syslogtag: LogHeader[13845]:, 
programname: LogHeader, 
PRI: 175, 
PRI-text: local5.debug, 
IUT: 1, 
syslogfacility: 21, 
syslogfacility-text: local5, 
syslogseverity: 7, 
syslogseverity-text: debug, 
timereported: Mar 10 15:52:49, 
TIMESTAMP: Mar 10 15:52:49,
timegenerated: Mar 10 15:52:49,
PROTOCOL-VERSION: 0, 
STRUCTURED-DATA: -, 
APP-NAME: LogHeader, 
PROCID: 13845, 
MSGID: -