centos7当机排查

[TOC]

1 查看宕机的时间记录和历史登陆还有重启时间

last reboot

2 查看报错

tail -200 /var/log/messages |grep "Error"
cat /var/log/dmesg |grep "Error"

3 查看内核崩溃日志

cat /var/log/dmesg |grep "Error"

3.1 查看操作系统日志

grep "Out of memory" /var/log/messages*

Out of memory: Kill process (checkpoint) score 9 or sacrifice child
checkpoint invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0

4 查看是否出现OOM,一般会出现kill杀死进程的情况

cat /var/log/messages |grep -i "kill"

Out of memory: Kill process 896 (php-fpm) score 1 or sacrifice child
Dec 22 06:23:34 iZj6ce3j6ldxx38c7ok1iaZ kernel: Killed process 22868 (php-fpm), UID 1004, total-vm:496880kB, anon-rss:6684kB, file-rss:0kB, shmem-rss:8kB
Dec 22 06:23:34 iZj6ce3j6ldxx38c7ok1iaZ kernel: python3.6 invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
Dec 22 06:23:34 iZj6ce3j6ldxx38c7ok1iaZ kernel: [<ffffffffacbc254d>] oom_kill_process+0x2cd/0x490
Dec 22 06:23:34 iZj6ce3j6ldxx38c7ok1iaZ kernel: [<ffffffffacbc1f3d>] ? oom_unkillable_task+0xcd/0x120
Dec 22 06:23:47 iZj6ce3j6ldxx38c7ok1iaZ kernel: Out of memory: Kill process 896 (php-fpm) score 1 or sacrifice child

5 还可以查看宕机时间段的日志,查看12月11日15点的日志

cat /vat/log/messages |grep "Feb 11 15*"

6 查看安全日志

/var/log/secure

7 常用日志

日志 日志详解
/var/log/messages: 包括整体系统普通信息，其中也包含系统启动期间的日志。此外，还包括mail,cron,daemon,kern,auth等内容.
/var/log/syslog: 它上messages日志不同，它只记录警告信息，通常是系统出问题的信息。
/var/log/user.log: 记录所有等级用户信息的日志.
/var/log/auth.log: 包含系统授权信息，用户登陆和使用权限机制
/var/log/daemon.log: 包含各种系统后台守护进程日志信息
/var/log/kern.log: 包含内核产生的日志，有助于在定制内核时解决问题.
/var/log/boot.log: 记录系统在引导过程中发生的事件，即linux系统开机自检过程显示的信息
/var/log/lastlog: 记录最后一次用户成功登陆的时间，IP等信息，lastlog查看
/var/log/secure: linux系统安全日志，记录用户和工作组变坏情况，用户登陆认证情况
/var/log/btmp: 记录linux登陆失败的用户，时间和远程IP
/var/log/wtmp: 此日志文件永久记录每个用户登录，注销及系统的启动，停机的事件，用last查看
/var/log/utmp: 记录有关当前登录的每个用户的信息。如who,w,users,finger等需要访问此文件