云计算百科
云计算领域专业知识百科平台

Mac 当主机,Linux 当服务器(26)组合拳——grep + awk + sed 三件套

摘要:三把刀都学会了,但真正干活时要把它们串起来。这篇用一份「日志日报」的七条需求,把 grep 的筛、awk 的算、sort | uniq -c 的统计串成一条管道:访问总量、Top IP、Top URL、状态码分布、5xx 定位、平均响应大小、排除内网后的访问量。然后是两个更值钱的技能——如何用「分段执行」调试一条结果不对的管道,以及**「空结果」本身就是一种结论**。

承接上篇:sed 练熟了,能脱敏 IP、提取时间段、删除空行和注释。

Mac 学 Linux 第 26 篇:三把刀,串起来才是真功夫。


一、老周的任务:日报

周一早上,老周丢给小林一张纸。上面写着:

日志分析日报
1. 访问总量
2. Top 10 IP
3. Top 10 URL
4. 状态码分布
5. 5xx 错误对应的 URL
6. 平均响应大小
7. 排除内网 IP 后的访问量

「你以后每天要出一份。老板要看,我也要看。」老周说,「你手动做,还是写脚本?」

「写脚本。」

「对。但你写脚本之前,得先知道每条怎么算。今天把七条命令写出来,明天再整合成脚本。」

一份日报,七条命令


二、第一步:访问总量

sudo awk \’END {print NR}\’ /var/log/nginx/access.log

输出:

102347

「和 wc -l 一样。」小林说。

「对,因为这个日志没有空行。」老周说,「但你要养成习惯——统计用 awk,不用 wc。awk 更灵活,同一套语法随时能加条件。」

# 只看 200 的数量
awk \’$9 == 200\’ /var/log/nginx/access.log | wc -l


三、第二步:Top IP

sudo awk \'{print $1}\’ /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -5

输出:

68000 192.168.1.100
12000 192.168.1.101
8000 192.168.1.102
6000 192.168.1.103
4000 192.168.1.104

「等等,这些全是内网 IP。」小林说,「我博客不是给外面看的吗?」

「你本地虚拟机,哪来的外网?」老周说,「你以后上生产,就会看到真实公网 IP。现在先练手。」

注意这只是 Top 5。 内网还有一小批设备各刷了几十到几百次——「Top N 的合计」不等于「总数」。日报里之所以「总量」和「Top N」都要给,就是因为一个说规模、一个说结构。这也是后面第七步「排除内网」有意义的根本原因。


四、第三步:Top URL

sudo awk \'{print $7}\’ /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10

输出:

3000 /posts/my-first-post/
1500 /
1100 /posts/old-post/
900 /posts/hello-world/
800 /tags/hugo/
500 /about/
300 /images/hugo-logo.png
200 /favicon.ico
100 /archives/
50 /categories/

「你的文章最高,首页第二。」老周说,「注意第三名 /posts/old-post/——这篇文章你不是删了吗?1100 次访问,全是 404。」

「有人从外面链过来了?」

「对。这就是 Top URL 的价值:它会告诉你「用户实际在访问什么」,包括那些已经不存在的页面。 你以后要定期看一眼,把死链修掉,或者做 301 跳转。」


五、第四步:状态码分布

sudo awk \'{print $9}\’ /var/log/nginx/access.log | sort | uniq -c | sort -rn

输出:

95000 200
5000 404
1500 301
500 500
347 502

顺手对个账: 95000 + 5000 + 1500 + 500 + 347 =

赞(0)
未经允许不得转载:网硕互联帮助中心 » Mac 当主机,Linux 当服务器(26)组合拳——grep + awk + sed 三件套
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!