tomcat 某天開始對外流量暴增 - Linux

監控到，從某一天開始，IDC機房router撈到的統計資料
http://fantasy15.myweb.hinet.net/tomcat/route.png
從某一天開始對外流量瞬間暴增四倍以上，
第一個反應，被hack了，馬上清查所有的code、policy、各種log

用 JavaMelody monitor出來有異狀的三個log圖表
http://fantasy15.myweb.hinet.net/tomcat/http_hit.png
http://fantasy15.myweb.hinet.net/tomcat/jsp_use.png
http://fantasy15.myweb.hinet.net/tomcat/bytes_send.png
http://fantasy15.myweb.hinet.net/tomcat/nbfile.png
其他圖表都很正常，跟那一天以前一樣都沒有特別的起伏

發現之後馬上開啟iptable紀錄確定都是80port出去的

分析httpd(apache)跟tomcat的log發現
並沒有特殊的連線，同時log在那天以前跟以後都一樣
沒有特殊連線、port、需求、同時數量跟大小也沒有變特別多(緩慢成長1%-5%這樣)

對該server安裝iftop全天候監控
發現對外輸出都變很大，對外部單一IP不少都破mb，也都是走http
與log比對跟一些特殊方法求證得知
可以確認那些ip都是一般user，並非入侵或惡意下載，
因為那天以前沒有裝iftop所以無法得知之前與之後的差異


向組內的coder們確認過，那天並沒有程式改版
或是說那個禮拜都沒有動程式！

httpd跟tomcat各conf也確認過都沒有變更
也都嘗試重啟過，或做一些java優化也沒效
而且很恐怖的是連半夜都持續在對外送出10-20Mb/s左右的流量
到今天已經快兩個禮拜了，
所有想到的方法都嘗試過了，就是找不到原因。

那台server OracleLinux5.8x64 只有裝apache 2.0，tomcat 6.0，java jdk16045
跟一些內部區網(到file server)的backup crontab
同時跟db的傳輸交換也是走內部區網的另一張網卡

有人碰過類似的狀況嗎...現在已經是熱鍋上的螞蟻了
很害怕是hack或漏洞被入侵了

--
山重重 水重重 無奈情已深種
﹀ 終日凝眸盼白頭 欲語卻還休
ˍ▂▃▄▅▄▂ˍ ● ˍ▂▄▇▆▄▁
﹍ ﹀ 天悠悠 地悠悠 怎奈情深緣薄
即使世界已盡頭▁▂▃▄▆▄▃▂▁ 我依然期待相逢
▁▂▂▂▃▃▄▄▅▅▆▆▇▇████████████▇▇▅▅▃▃▂▁在夢中

--