Linux应急响应

Linux 应急响应

​ 在实际的安全和运维工作中，应该在网络和系统被攻击之前，做好充分的准备，深挖战壕广积粮，才能在 网络被攻击时能够从容的应对。针对Linux服务器而言，强烈建议严格按照【Linux基线加固】中的条目对服务器进行加固。

应急响应概述

​ 当你的Linux服务器被攻击了，就需要对服务器进行应急响应。在Linux 系统中，一切皆文件。黑客入侵的手段大部分都是利用系统对文件上传的控制不严格，上传WebShell。黑客要想在系统中启动一个进程，那么必须要有对应的进程启动文件。服务器中了病毒和木马，病毒和木马本身也都是一个文件。

​ 应急响应最核心的问题就是找到这些非法上传，或者是非法改动的文件，将这些文件全部删除或者进行替换，并且要将这些文件启动的进程全部杀掉。最后要找到黑客的入侵方式，彻底切断黑客的入侵途经，封堵漏洞。

服务器被攻击的症状

​ 当服务器被攻击了，一般都会或多或少表现出一定的症状，例如：CPU利用率升高，服务器网络流量增加，内存占用率增加，出现不明进程，服务器处理能力变慢，异常重启等等。如果服务器出现了这些症状，那就需要进行一次完整检查了。

应急响应流程

​ 第一件事情应该是切断网络，但是有些环境不允许网络断开，就只能跳过这一步。

查看历史命令

​ 发现Linux 服务器被攻击，要做应急响应，登录主机后的第一件事，就是查看主机的历史命令：

# 检查Root用户的.bash_history 文件
cat /root/.bash_history
# 检查普通用户的.bash_history 文件
cat /home/[user]/.bash_history

​ 虽然大部分黑客在入侵后删除历史命令，但是不排除有些黑客忘记删除。如果没有删除历史命令，那么可以通过历史命令知道黑客做了哪些操作，这样后续的工作就非常简单了。

排查用户信息

# Linux 服务器中招之后
# whoami 查看当前用户
➜  ~ whoami 
root

# 通过who命令查看当前登录系统的所有用户
➜  ~ who
root     pts/0        2020-05-27 17:23 (192.168.5.2)
# 有可能发现服务器异常时，黑客还在登录，那么用who命令就可以检查出来。

# w命令显示已经登录系统的所用用户，以及正在执行的指令
➜  ~ w
 17:53:32 up 30 min,  2 users,  load average: 0.00, 0.01, 0.05
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
b        pts/0    192.168.5.2      17:53    4.00s  0.01s  0.00s sleep 1000
root     pts/1    192.168.5.2      17:51    4.00s  0.26s  0.00s w

# 发现有个用户b 正在执行sleep 1000 这个命令，根据这个信息将b用户的该进程杀掉
# 通过 ps -ef | grep sleep 找到该进程ID，然后使用kill -9 id 杀掉该进程
➜  ~ ps -ef | grep sleep
b          7654   7633  0 17:53 pts/0    00:00:00 sleep 1000
root       7676   7502  0 17:54 pts/1    00:00:00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn --exclude-dir=.idea --exclude-dir=.tox sleep

➜  ~ kill -9 7654
➜  ~ ps -ef | grep sleep 
root       7724   7502  0 17:56 pts/1    00:00:00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn --exclude-dir=.idea --exclude-dir=.tox sleep

# 发现该进程被杀掉了
# 接下来锁定该用户，并将其强制下线
➜  ~ w
 17:58:11 up 34 min,  1 user,  load average: 0.00, 0.01, 0.05
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/1    192.168.5.2      17:51    3.00s  0.97s  0.00s w
# b用户已离线

# last命令查看最近登录成功的用户及信息
➜  ~ last
b        pts/0        192.168.5.2      Wed May 27 17:53 - 17:58  (00:04)    
root     pts/0        192.168.5.2      Wed May 27 17:52 - 17:53  (00:00)    
root     pts/1        192.168.5.2      Wed May 27 17:51   still logged in   
root     pts/0        192.168.5.2      Wed May 27 17:23 - 17:52  (00:28)    
reboot   system boot  3.10.0-957.el7.x Wed May 27 17:23 - 21:20  (03:57)    
root     pts/0        192.168.5.2      Mon May 18 22:25 - 00:21  (01:56)   

# 显示logged in表示用户还在登录
# pts表示从SSH远程登录
# tty表示从控制台登录，就是在服务器旁边登录

# lastb命令查看最近登录失败的用户及信息
[root@srv01 ~]# lastb
root tty1 Tue Jan 7 01:16 - 01:16 (00:00)
root tty1 Tue Jan 7 01:16 - 01:16 (00:00)
a ssh:notty 192.168.225.1 Mon Jan 6 22:07 - 22:07 (00:00)
a ssh:notty 192.168.225.1 Mon Jan 6 22:07 - 22:07 (00:00)
a ssh:notty 192.168.225.1 Mon Jan 6 22:07 - 22:07 (00:00)
a ssh:notty 192.168.225.1 Mon Jan 6 22:07 - 22:07 (00:00)
a ssh:notty 192.168.225.1 Mon Jan 6 22:07 - 22:07 (00:00)
root tty1 Thu May 9 19:06 - 19:06 (00:00)
# ssh表示从SSH远程登录
# tty表示从控制台登录

​ 如果你在排查服务器的时候，黑客没有在线，可以使用last命令排查黑客什么时间登录的有的黑客登录时，会将/var/log/wtmp文件删除或者清空，这样我们就无法使用last命令获得有用的信息了。在黑客入侵之前，必须使用chattr +a对/var/log/wtmp文件进行锁定，避免被黑客删除。

# lastlog命令显示所有用户最近一次登录信息
➜  ~ lastlog 
Username         Port     From             Latest
root             pts/0    192.168.5.2      Wed May 27 17:52:45 +0800 2020
bin                                        **Never logged in**
daemon                                     **Never logged in**
adm                                        **Never logged in**
lp                                         **Never logged in**
sync                                       **Never logged in**
shutdown                                   **Never logged in**
halt                                       **Never logged in**
mail                                       **Never logged in**
operator                                   **Never logged in**
games                                      **Never logged in**
ftp                                        **Never logged in**
nobody                                     **Never logged in**
systemd-network                            **Never logged in**
dbus                                       **Never logged in**
polkitd                                    **Never logged in**
sshd                                       **Never logged in**
postfix                                    **Never logged in**
abc              pts/0    gateway          Tue Feb  4 20:35:34 +0800 2020
a                                          **Never logged in**
b                pts/0    192.168.5.2      Wed May 27 17:53:22 +0800 2020
# 在黑客入侵之前，必须使用chattr +a对/var/log/lastlog文件进行锁定，避免被黑客删除或者清空。

排查passwd 文件，重点排查如下内容：

• 哪些用户不能登录，shell却为/bin/bash —> 修改建议：将shell修改为/sbin/nologin
• 哪些普通用户的UID=0 —> 修改建议：禁用该用户或删除该用户
• 是否多出了不明用户。

# 查看可登录用户：
cat /etc/passwd | grep /bin/bash
# 查看UID=0的用户
awk -F: '$3==0{print $1}' /etc/passwd
# 查看sudo权限的用户
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

排查端口进程

​ 使用top命令查看进程

# 使用ls -l命令查看某个进程的可执行文件的完整路径
例如：查看 PID=842的SSH进程的可执行文件
# ls -l /proc/842/exe
lrwxrwxrwx 1 root root 0 Jan 7 19:06 /proc/842/exe -> /usr/sbin/sshd
# 如果找不到任何可疑文件，文件可能被删除，这个可疑的进程已经保存到内存中，是个内存进程。这时需要查找PID 然后kill掉。

#lsof 命令查看进程打开的文件
➜  ~ lsof -p 7502  
COMMAND  PID USER   FD   TYPE DEVICE  SIZE/OFF     NODE NAME
zsh     7502 root  cwd    DIR  253,0      4096 33574977 /root
zsh     7502 root  rtd    DIR  253,0       224       64 /
zsh     7502 root  txt    REG  253,0    740496 50878051 /usr/bin/zsh
zsh     7502 root  mem    REG  253,0     11488    43685 /usr/lib64/zsh/5.0.2/zsh/regex.sozsh     7502 root  mem    REG  253,0     70280   279590 /usr/lib64/zsh/5.0.2/zsh/computil.so
# 或者通过服务名查看该进程打开的文件
lsof -c sshd
COMMAND  PID USER   FD   TYPE             DEVICE SIZE/OFF     NODE NAME
sshd    6590 root  cwd    DIR              253,0      224       64 /
sshd    6590 root  rtd    DIR              253,0      224       64 /
sshd    6590 root  txt    REG              253,0   853040   551331 /usr/sbin/sshd

# 通过端口号查看进程
➜  ~ lsof -i :22
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
sshd    6590 root    3u  IPv4  35947      0t0  TCP *:ssh (LISTEN)
sshd    7500 root    3u  IPv4  37659      0t0  TCP localhost.localdomain:ssh->192.168.5.2:cspmulti (ESTABLISHED)

# 查看进程的启动时间点
➜  ~ ps -p 6590 -o lstart
                 STARTED
Wed May 27 17:23:44 2020
# 可以通过时间点来判断该进程是否是可疑进程

# 使用netstat -pantu | grep [PID] 通过进程id来查看端口的连接情况
➜  ~ netstat -pantu | grep 6590
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6590/sshd

# 使用fuser -n [tcp/udp] [端口号] 来查看端口对应的进程
➜  ~ fuser -n tcp 22
22/tcp:               6590  7500

# 使用ps命令查看进程
➜  ~ ps -ef
UID         PID   PPID  C STIME TTY          TIME CMD
root          1      0  0 17:23 ?        00:00:01 /usr/lib/systemd/systemd --switched-rooroot          2      0  0 17:23 ?        00:00:00 [kthreadd]
root          3      2  0 17:23 ?        00:00:00 [ksoftirqd/0]
root          5      2  0 17:23 ?        00:00:00 [kworker/0:0H]
root          7      2  0 17:23 ?        00:00:00 [migration/0]
root          8      2  0 17:23 ?        00:00:00 [rcu_bh]
--------------------------------------以下省略-----------------------------------------------------------
# 使用[]括起来的进程一般是正常的系统进程，黑客的进程通常是.sshd，aa.sh，.sdofafdjja等。这些文件通常是隐藏文件，都是以【.】开头，要查找到这些文件，需要在ls命令后面加-a参数。

# 按照CPU使用率从高到低排序
➜  ~ ps -ef --sort -pcpu
UID         PID   PPID  C STIME TTY          TIME CMD
root          1      0  0 17:23 ?        00:00:01 /usr/lib/systemd/systemd --switched-rooroot          2      0  0 17:23 ?        00:00:00 [kthreadd]
root          3      2  0 17:23 ?        00:00:00 [ksoftirqd/0]
root          5      2  0 17:23 ?        00:00:00 [kworker/0:0H]
root          7      2  0 17:23 ?        00:00:00 [migration/0]
root          8      2  0 17:23 ?        00:00:00 [rcu_bh]
--------------------------------------以下省略-----------------------------------------------------------

# 按照内存使用率从高到低排序
➜  ~ ps -ef --sort -pmem
UID         PID   PPID  C STIME TTY          TIME CMD
root       7502   7500  0 17:51 pts/1    00:00:06 -zsh
root       6046      1  0 17:23 ?        00:00:15 /usr/bin/vmtoolsd
root       6045      1  0 17:23 ?        00:00:00 /usr/bin/VGAuthService -s
root       7500   6590  0 17:51 ?        00:00:00 sshd: root@pts/1
--------------------------------------以下省略-----------------------------------------------------------

排查文件修改

​ 应急响应的核心就是找到黑客植入/修改的文件。

​ 可以按照以下三种方式查找修改的文件：

• 按照名称
• 依据文件大小
• 按照时间查找

# 根据名称查找文件
➜  ~ find / -name a.Test
/root/a.Test
# 如果文件名记不全，可使用通配符*来补全
# 如果不区分大小写，可以将-name 替换为-iname

# 依据文件大小查找：
➜  ~ find / -size +1000M
/proc/kcore
# +1000M表示大于1000M的文件，-10M代表小于10M的文件

# 依据时间查找
# -atime 文件的访问时间
# -mtime 文件内容修改时间
# -ctime 文件状态修改时间（文件权限，所有者/组，文件大小等，当然文件内容发生改变，ctime也会随着改变）
# 要注意：系统进程/脚本访问文件，atime/mtime/ctime也会跟着修改，不一定是人为的修改才会被记录
➜  ~ stat a.Test  
  File: ‘a.Test’
  Size: 0               Blocks: 0          IO Block: 4096   regular empty file
Device: fd00h/64768d    Inode: 33590721    Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2020-05-27 22:12:20.681192600 +0800
Modify: 2020-05-27 22:12:20.681192600 +0800
Change: 2020-05-27 22:12:20.681192600 +0800
 Birth: -
# 修改文件内容：
➜  ~ echo "1230"> a.Test 
➜  ~ stat a.Test  
  File: ‘a.Test’
  Size: 5               Blocks: 8          IO Block: 4096   regular file
Device: fd00h/64768d    Inode: 33590721    Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2020-05-27 22:12:20.681192600 +0800
Modify: 2020-05-27 22:17:58.334176870 +0800
Change: 2020-05-27 22:17:58.334176870 +0800
 Birth: -
# mtime和ctime发生了变化

# 查找最近一天以内修改的文件：
➜  ~ find / -mtime -1 -ls  | more 
  1026    0 drwxr-xr-x  19 root     root         3100 May 27 17:23 /dev
 34061    0 crw-------   1 root     root      10,  57 May 27 17:23 /dev/vsock
 33151    0 crw-rw----   1 root     tty        7, 134 May 27 17:23 /dev/vcsa6
 33148    0 crw-rw----   1 root     tty        7,   6 May 27 17:23 /dev/vcs6
 33147    0 crw-rw----   1 root     tty        7, 133 May 27 17:23 /dev/vcsa5
# 查找50天前修改的文件：
➜  ~ find ./ -mtime +50 -ls
33880333    4 -rw-r--r--   1 root     root           18 Dec 29  2013 ./.bash_logout
33880334    4 -rw-r--r--   1 root     root          176 Dec 29  2013 ./.bash_profile
33880335    4 -rw-r--r--   1 root     root          176 Dec 29  2013 ./.bashrc
33880336    4 -rw-r--r--   1 root     root          100 Dec 29  2013 ./.cshrc
33880337    4 -rw-r--r--   1 root     root          129 Dec 29  2013 ./.tcshrc
33574978    4 -rw-------   1 root     root         1232 Jan 20 11:20 ./anaconda-ks.cfg
 35289    0 drwx------   3 root     root           18 Jan 20 11:55 ./.config

#根据属主和属组查找：
-user 根据属主查找
-group 根据属组查找
-nouser 查找没有属主的文件
-nogroup 查找没有属组的文件

# 查看属主是root的文件
➜  ~ find ./ -user root -type f
./.bash_logout
./.bash_profile
./.bashrc
./.cshrc
./.tcshrc
# -type f表示查找文件，-type d表示查找目录
# 注意：系统中没有属主或者没有属组的文件或目录，也容易造成安全隐患，建议删除。

清理后门

​ 在找到并处理植入/修改的文件之后，还需要清理后门，因为黑客为了下次访问方便，必然会在服务器上留有 后门。常见留后门的方法有如下几种：

• 将公钥写入到服务器的authorized_keys文件中
• 创建UID=0的普通用户

解决方法：

• 清除authorized_keys文件中黑客上传的key
• cat /etc/passwd将UID为0的普通用户注释掉

查找攻击源

检查系统日志信息：
# tail -100 /var/log/messages
检查登录的账号和IP地址：
# tail -100 /var/log/secure
检查系统是否有异常，例如发包量过大等：
# dmesg
查找到攻击源，可以使用防火墙将此攻击源屏蔽。

原因分析

​ 服务器被入侵原因通常有几个：系统漏洞、中间件漏洞（程序漏洞）、代码漏洞、安全设置不正确、网络层面 没有限制等。 如果是系统漏洞和中间件漏洞，需要使用没有发现漏洞的系统和中间件进行升级。 如果是程序/代码漏洞，需要修改程序代码进行修改，或者部署waf防火墙。 如果是安全设置不正确，需要进一步检查安全配置。 如果是网络层面没有限制，需要在防火墙和IPS上进行检查。 通过植入文件启动进程的入侵方式，一般户看到类似这种进程或者文件：aa.sh，.sdofafdjja，是通过系 统漏洞或者中间件漏洞入侵的；如果没有发现被植入的文件，但是系统就是有异常，这种一般是通过代码漏洞 来入侵的。