九维团队-青队(处置)| 深入浅出小科普之分析web日志入门
写在前边
在安全服务中,攻击和防御都属于是常态任务。在受到网络攻击后,日志和流量就是最重要的东西,这两样东西可以帮助我们溯源,还原攻击链。
但很多刚入门的小伙伴不清楚web日志该如何分析?看着这一条条数据是否头大?不用担心,今天的文章就来教你如何分析日志。
(ps:在ctf中,日志分析和流量分析也是常考的一个考点,花几分钟阅读一下这篇文章,也能对分析ctf有所帮助哦~)
01
日志分析的基础
STEP 1
首先我们要知道,web日志存放在哪?
windows服务器先打开“Internet 信息服务”,选择你的网站属性,下面有“启用日志记录”,一般会有三个选项:W3C扩展日志文件格式、Microsoft IIS 日志文件格式、NCSA公用日志文件格式。
默认是W3C扩展日志文件格式,选择右边的属性,下面会有日志文件名(如:W3SCC1\ncyymmdd.log)。
日志存放目录一般是:
C:\WINDOWS\system32\LogFiles,如果你要打开日志文件夹,那么地址就是:C:\WINDOWS\system32\LogFiles\W3SCC1。
如果用虚拟主机的可以到服务器商的后台选择日志保存后用 FTP去下载,一般都放在log文件夹内(注:Linux的web日志在/var/log/)。
STEP 2
知道了日志存放位置,下面来看看web日志的格式吧。
以下方日志为例:
192.168.200.186 - - [26/Oct/2017:05:36:44 +0000] "GET /bbsnews.php HTTP/1.1" 404 449 "-" "-"
让我们来逐条看一下这段日志透露了怎样的信息:
Who:192.168.200.186代表访问者的IP地址,即谁访问了我?
When:[26/Oct/2017:05:36:44 +0000]代表访问的时间,什么时候来访问的我?
注:后面的+0000代表英国时间!中国时间应该是+0800。
Where:GET代表请求方式,怎么访问的我?
What:/bbsnews.php代表访问的文件,访问了我哪个文件?HTTP/1.1代表使用的协议,此处很明显是HTTP协议。
“404”代表我做出的响应,响应码为404。
注:响应码200代表访问成功,30x代表跳转,40x代表访问资源不存在,50x代表服务器错误。
449代表响应长度,发送给客户端文件主体内容大小。
后面两个参数一个记录的是http_referer用来记录从哪个页面链接访问过来,另外一个则是用户的浏览器信息。
显然这个日志并没有记录,推测可能的原因就是响应没成功。
趁热打铁
让我们再来看一条响应成功的日志:
192.168.200.88 - - [26/Oct/2017:05:36:53 +0000] "GET / HTTP/1.1" 200 2019 "http://192.168.200.107/vulnerabilities/sqli_blind/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
IP地址为192.168.200.88的用户在2017年10月26日 5点36分53秒(英国时间)通过get方式访问了网站根目录,使用的协议是HTTP,响应码为200,我返回给客户端的文件内容大小为2019,客户端是从以下网址:http://192.168.200.107/vulnerabilities/sqli_blind/跳转过来的。使用的浏览器为Chrome/61.0.3163.100。
通过这样一条日志,我们就还原出了整个访问过程。如果是攻击日志,就能够还原攻击链,一条条分析。
STEP 3
攻击分析:
仔细观察时间,我们可以看到日志显示该IP在一秒内访问了多个文件,响应码为404。如果是正常访问,一秒内是不可能访问这么多的,可以推断出肯定是软件,那么这是在进行什么攻击呢?
再仔细看一下,我们会发现每次访问的文件都不一样,在一秒内发出这么多请求,可以推断肯定就是目录扫描:攻击者通过自己的字典进行扫描存在的目录,只要响应码为200,即说明文件存在,这样就能获取一些敏感信息。
据此,我们可以判定该IP为攻击者,进行后续处理即可。
02
日志分析的技巧
在对WEB日志进行安全分析时,一般可以按照两种思路展开,逐步深入,还原整个攻击过程。
第一种:
确定入侵的时间范围,以此为线索,查找这个时间范围内可疑的日志,进一步排查,终确定攻击者,还原攻击过程。
第二种:
攻击者在入侵网站后,通常会留下后门维持权限,以便再次访问,我们可以找到该文件,并以此为线索来展开分析。
常用的日志分析指令
下面为大家介绍几个常用的日志分析命令:
1、列出当天访问次数多的IP命令:
cut -d- -f 1 log_file|uniq -c | sort -rn | head -20
*左右滑动查看更多
2、查看当天有多少个IP访问:
awk '{print $1}' log_file|sort|uniq|wc -l
*左右滑动查看更多
3、查看某一个页面被访问的次数:
grep "/index.php" log_file | wc -l
4、查看每一个IP访问了多少个页面:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
*左右滑动查看更多
5、将每个IP访问的页面数进行从小到大排序:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
*左右滑动查看更多
6、查看某一个IP访问了哪些页面:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'
*左右滑动查看更多
7、去掉搜索引擎统计当天的页面:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l
*左右滑动查看更多
8、查看2022年6月21日14时这一个小时内有多少IP访问:
awk '{print $4,$1}' log_file | grep 21/Jun/2022:14 | awk '{print $2}'| sort | uniq | wc –l
*左右滑动查看更多
03
日志分析案例
Web日志分析实例:
通过nginx代理转发到内网某服务器,内网服务器某站点目录下被上传了多个图片木马,虽然II7下不能解析,但还是想找出是谁通过何种路径上传的。
在这里,我们遇到了一个问题:由于设置了代理转发,只记录了代理服务器的IP,并没有记录访问者IP?这时候,如何去识别不同的访问者和攻击源呢?
这其实是管理员日志配置不当的问题,但好在我们可以通过浏览器指纹来定位不同的访问来源,还原攻击路径。
STEP 1
1、定位攻击源
首先访问图片木马的记录,只找到了一条,由于所有访问日志只记录了代理IP,并不能通过IP来还原攻击路径,这时候,可以利用浏览器指纹来定位:
定位攻击源:
more log_file | grep "asp;."
STEP 2
2、搜索相关日志记录
通过筛选与该浏览器指纹有关的日志记录,可以清晰地看到攻击者的攻击路径。
筛选与该浏览器指纹有关的日志记录:
more log_file |grep "指纹信息"
STEP 3
3、对找到的访问日志进行解读攻击者的访问路径
打开网站,访问(上传文件)n.aspx,确认攻击者通过该页面进行文件上传了图片木马,同时发现网站存在越权访问漏洞,攻击者访问特定URL,无需登录即可进入后台界面。通过日志分析找到网站的漏洞位置并进行修复。
STEP 4
4. 日志统计分析技巧
IP统计:
grep '23/May/2019' /www/logs/access.2022-10-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10
*左右滑动查看更多
统计域名:
cat /www/logs/access.2022-10-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more
*左右滑动查看更多
URL 统计:
cat /www/logs/access.2022-10-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more
*左右滑动查看更多
统计爬虫:
grep -E 'Googlebot|Baiduspider' /www/logs/access.2022-03-10.log | awk '{ print $1 }' | sort | uniq
*左右滑动查看更多
统计网段:
cat /www/logs/access.2022-03-10.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200
*左右滑动查看更多
IP、URL抽取:
tail -f /www/logs/access.2022-10-23.log | grep '/test.html' | awk '{print $1" "$7}'
*左右滑动查看更多
统计浏览器:
cat /www/logs/access.2022-03-10.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100
HTTP Status
cat /www/logs/access.2022-10-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more
*左右滑动查看更多
文件流量统计:
cat /www/logs/access.2022-10-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
grep ' 200 ' /www/logs/access.2022-10-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
*左右滑动查看更多
URL访问量统计:
cat /www/logs/access.2022-10-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort -rn | more
*左右滑动查看更多
脚本运行速度最慢的:
grep -v 0$ /www/logs/access.2022-10-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt
*左右滑动查看更多
参考文章及推荐阅读:
1.web服务器遭受黑客攻击时的日志分析及排查
https://www.isolves.com/it/aq/fwq/2019-11-06/7392.html
2.Web日志安全分析技巧
https://mp.weixin.qq.com/s?src=11×tamp=1666144314&ver=4113&signature=r3TvXFgD2brJ2aqleqHOsxgZOUzURiim00hscEHRh7djoX-1rEhSDZVRA7kdwdKpMm6DnNYSAlYyhsE7cQVqZCrDSy3nAq68CCMDuHhuuyvbX*rL5KbIWx1e36JOyfAy&new=1
3.应急响应之Web日志分析
https://mp.weixin.qq.com/s?src=11×tamp=1666144658&ver=4113&signature=E35IeZaCoAFZ4WsjblMSEuQkASbxBt9CatVQt3d14bXaPJii1iJAL1aqvg5AVgMtqo4LpPHie7CLaBA4-khCf*CW1YRg3l3Q*0nLeLX5Jja7uc5DMS1KpIgJcilPnNsK&new=1
4.Web日志的研究分析
http://www.oh100.com/peixun/Web_Services/425691.html
— 往期回顾 —
关于安恒信息安全服务团队安恒信息安全服务团队由九维安全能力专家构成,其职责分别为:红队持续突破、橙队擅于赋能、黄队致力建设、绿队跟踪改进、青队快速处置、蓝队实时防御,紫队不断优化、暗队专注情报和研究、白队运营管理,以体系化的安全人才及技术为客户赋能。